Conta a tradição local que a denominação está ligada a uma lenda de pescadores que encontraram um pilão, com formato de uma curva em arco, em uma das margens do rio São Francisco, e passaram a utilizá-lo para pilar o sal que salgava o peixe. Pilão Arcado originou-se de um arraial fundado, em fins do século XVII, por ordem do vice-rei D. João de Lencastre, com a finalidade de acabar com os constantes ataques dos índios mocoazes e acoroazes às fazendas de gado da região. O município, então em terras da Província de Pernambuco, foi criado em 1810, com a denominação de Vila do Pilão Arcado. Em 1824, devido as revoltas separatistas dos pernambucanos contra o Império, passou a integrar a Província de Minas Gerais. Em 1827, juntamente com todo o Além São Francisco, passou à administração da província da Bahia. Em 1857 foi extinto como município, integrando então o território de Vila de Nossa Senhora do Remanso de Pilão Arcado. Em 1890, foi desmembrado de Remanso. A sede foi elevada à categoria de cidade em 1938. Em 1974, devido a implantação da Barragem de Sobradinho, no rio São Francisco, a sede foi transferida para local distante 62 km da sede velha. A nova cidade foi planejada e construída pelo Governo Federal, através da CHESF.