Costruito su modello dei castelli crociati di Terra Santa, il castello si presenta a pianta quadrangolare, rinforzato ai vertici da quattro torri quadrate di uguale altezza. Nel XVI secolo, con l’avvento delle armi da fuoco, il castello viene adeguato alle nuove tecniche difensive e nell’Ottocento è oggetto di nuovi lavori di restauro, diventando carcere. Negli anni Settanta del Novecento passa in consegna al Ministero della Pubblica Istruzione, oggi Ministero della Cultura, che ne ha curato negli anni i lavori di restauro e la musealizzazione. L’edificio presenta due saloni monumentali al primo piano, di epoca federiciana. Tale nucleo centrale è stato ampliato con la costruzione di bastioni, quello a nord – est a pianta quadrata e quello a sud – ovest a punta di lancia, collegati dall’antemurale che racchiude ampi cortili secondari. Il corpo delle casematte, realizzato in epoca rinascimentale, delimita il cortile centrale.

La visita del castello permette di conoscere, attraverso la successione dei vari ambienti e cortili, l’avvicendarsi delle tecniche costruttivo – difensive che hanno reso il castello nel Medioevo uno dei più moderni baluardi difensivi della dinastia sveva, passando poi al Rinascimento, con l’ispessimento del fronte Sud e la costruzione dei bastioni, terminando quindi con gli interventi di epoca ottocentesca, con le celle di detenzione e la torre dell’orologio. Nel Museo del Castello, ubicato al piano terra del bastione quadrato, sono custoditi reperti lapidei e ceramici provenienti dagli scavi effettuati durante i restauri del XX secolo.