Il Castello, risalente al XIII secolo (il primo documento a nostra disposizione per una datazione riporta l’anno 1240), fu commissionato da Federico II di Svevia, sovrano del Sacro Romano Impero.
Se oggi la struttura appare periferica, all’epoca della sua costruzione sorgeva poco lontano dall’asse che collegava i due importanti insediamenti di Andria e del Garagnone, presso Gravina.
Proprio la sua posizione ha reso il Castello un elemento essenziale nel sistema di comunicazione all’interno della rete voluta da Federico II.
A lungo si è discusso sulla sua destinazione d’uso: il termine castrum, infatti, rimanda direttamente a una funzione difensiva, ma la presenza di alcune strutture “accessorie” e la ricercatezza del repertorio scultoreo hanno fatto ipotizzare anche una realtà residenziale e di rappresentanza.

Costruito direttamente su un banco roccioso, il Castello è noto per la sua forma ottagonale.
Su ognuno degli spigoli si innestano otto torri in pietra calcarea locale.
Il cortile, anch’esso di forma ottagonale, è caratterizzato, come tutto l’edificio, dal contrasto cromatico ottenuto grazie all’uso di breccia corallina, pietra calcarea e marmi.
Un tempo erano presenti anche ricchi arredi scultorei, dei quali ad oggi restano solo una lastra raffigurante il Corteo dei cavalieri e un frammento di figura antropomorfa.
Nelle sedici sale di forma trapezoidale, otto per ciascun piano, sono caratteristiche le chiavi di volta delle crociere, ognuna decorata da elementi antropomorfi, zoomorfi e fitomorfi.
Il corredo scultoreo, sebbene fortemente depauperato, restituisce una significativa testimonianza dell’originario apparato decorativo. Ad oggi, sono ancora presenti le due mensole antropomorfe nella Torre del falconiere, i telamoni che sostengono la volta ad ombrello di una delle torri scalari e un frammento del mosaico pavimentale nell’VIII sala al piano terra.
A Bari sono tutt’ora conservati invece due importanti frammenti scultorei recuperati nel 1928, durante i lavori di scavo e di restauro del castello, e raffiguranti una testa laureata ed un busto acefalo.