Il Castello medioevale è uno dei più antichi nuclei cittadini. Edificato nel 1266, è stato successivamente ampliato dagli Angioini, che hanno provveduto a modificarne la preesistente costruzione longobarda: l'unica testimonianza dell'aspetto originario è rappresentata dalla torre anteriore. L'edificio fa parte di una cinta muraria fortificata che ancora oggi è possibile osservare, almeno in parte, seguendone le tracce in via Matteotti, corso Umberto, via Savonarola e via Imbriani. Il castello è caratterizzato da una struttura quadrata munita di un torrione e tre torri angolari. Lungo il suo perimetro murario sono ancora visibili (e ben conservate) le antiche feritoie. Il portale di accesso è rialzato sul livello della strada per la presenza di un fossato fatto scavare da Alfonso d'Aragona durante l'assedio del 1439. Sulla sua sommità è scolpita un'epigrafe del 1632, che ricorda la visita del vicerè Zunica y Fonseca al duca di Caivano, Giovanni Angelo Barile. Dal 1937 fino ad oggi, il castello è sede del Municipio. L'impianto di questa struttura conserva ancora la regolarità matematica e la chiarezza di linee rette che appartenevano al suo originario progetto .