Tai vienas aukščiausių (šlaitų aukštis siekia iki 40 m) ir žinomiausių piliakalnių Lietuvoje. XIV a. pab. ant piliakalnio stovėjo medinė Birštono pilis, kuri buvo Trakų kunigaikštystės gynybinės sistemos dalis ir vienas iš Vytauto medžioklės dvarų. Pilis istoriniuose šaltiniuose pirmą kartą minima 1382 m., kuomet, anot Vygando Marburgiečio, viena iš trijų Trakų kunigaikštystę puolusių kryžiuočių kariuomenės dalių „nuėjo Birštono pilies link, bet greitai atsitraukė“. Gilių, šaltiniuotų raguvų, klampia šaltiniuota pelke, pylimas ir įtvirtintu papiliu apjuosta pilis buvo ne kartą kryžiuočių pulta, tačiau niekada nepaimta. 1401 m. Birštonas minimas kaip Vytauto dvaras, o 1423 m. - kaip jo žmonos Julijonos Vytautienės medžioklės dvaras. Tuomet pilyje lankėsi kunigaikščiai ir kiti didikai, atvykdavę į medžiokles. Kartais pilis tapdavo ir prieglobsčiu nuo karų ar kitų neramumų. Birštono pilyje 1473 m. gyvenęs karalius Kazimieras Jogailaitis su šeima, slėpėsi nuo šalyje siautėjusios maro epidemijos. Vėliau pilis netekusi gynybinės reikšmės ir nunykusi iki XVII a. Piliakalnio žvalgomuosius archeologinius tyrimus 1953 m. atliko Lietuvos istorijos institutas. Rasta lipdytos grublėtu paviršiumi ir žiestos keramikos. Radinius saugo Lietuvos nacionalinis muziejus. 1968 m. archeologai nustatė piliakalnio teritoriją.