L'histoire de la ville antique est intimement liée à sa citadelle, dont l'emplacement détermina le choix du site et son évolution urbaine. Le monument actuel, résultat de plusieurs siècles de travaux de fortifications, occupe le sommet d'un éperon rocheux (de 77m d'altitude ), parfaitement situé pour le contrôle de la rade et l'arrière pays. Attirés par l'assurance de ce mouillage, les carthaginois fondèrent vers le Vème siècle av.JC, au Sud-Est de cette éminence un port fortifié qui sera utilisé jusqu'au XVIème siècle de notre ère par les diverses marines du pays.
Autours de ce port, en contrebas de la colline, s'est formée une agglomération Aspis, terme grec qui signifie bouclier, et dérivé sans nulle doute de la forme de l'éminence qui rappelle celle du bouclier rond. La proximité de la nouvelle cité des côtes italiennes en fit très tôt la victime des attaques des Grecs de Sicile.
En 310 av.JC, le tyran de Syracuse : Agathocle s'empara de Kélibia qu'il transforma en base d'opérations dirigées contre Carthage et le reste de l'arrière pays.
Il y forma en outre un chantier de construction navale et une forteresse qui aurait occupé le même emplacement de la citadelle actuelle, dont le module des blocs rappelle étrangement l'architecture militaire grecque ( dite cyclopéenne ).
La forteresse d'Agathocle, dont rien ne subsiste de nos jours, fut totalement démantelée en 256 av.JC par les deux consuls romains Regulus et Manilus, au cours de la première guerre romano-carthaginoise.
La fin de la 1ère " guerre punique " avait d'avantage accentué l'importance stratégique de Kélibia. Face aux possessions romaines du Nord, elle était la première cible des débarquements des flottes italiennes.
A fin de prévenir de nouvelles descentes de ces marines, les Carthaginois dotèrent l'éminence d'une vaste forteresse; dont les vestiges sont encore identifiables au pied de la citadelle actuelle. Outre la protection de la ville et des approches de Carthage, l'ouvrage était également destiné à surveiller les riches plaines du Cap-Bon, un des réservoirs agricoles du pays.
De même, la prospérité de Kélibia, et son ouverture sur le monde extérieur, l'exposaient aux descentes des pirates grecs, surtout que l'île voisine de Zembra, l'antique Aegimur avait servit de repère aux fribustiers de l'époque.
C'est ainsi que la nouvelle citadelle devait servir de base d'opération à la police maritime carthaginoise chargée de la protection des ports, des routes commerciales et des populations des environs contre la course.
Lors de la 2ème guerre romano-carthaginoise (218 - 210 av.JC) la citadelle s'opposa avec succès aux troupes romaines conduites par Valerius. L'excellente qualité de ses fortifications obligera le général romain à affronter la flotte punique au large du Cap-Bon. Au cours de la 3ème guerre romano-carthaginoise, les Romains firent le blocus de Kélibia par la voie terrestre et maritime (148 av.JC). Malgré la chute d'autres places-fortes, la ville resista, grâce à sa forteresse, pendant deux ans et ne capitula qu'en 146 av.JC l'année même de la conquête de Carthage. Aspis paya cher sa loyauté à la métropole punique, elle fut incendiée, pillée et détruite par la pioche, ses environs ravagés et sa forteresse de nouveau démantelée.
Malgré la destruction de la forteresse en 146 av.JC la mise à jour de plusieurs pans de mur ( surtout le secteur Sud-Ouest ), ainsi que les soubassements d'une tour (de 17.5 m de front) ont permis de restituer la tracé de la citadelle punique. Elle aurait eu un plan grossièrement pentagonal, parfaitement adapté aux données topographiques, six tours quadrangulaires flanquaient l'enceinte.
L'appareil des courtines, ainsi que la présence de tessons de céramique à vernis noir, permettant de dater ces vestiges du 3ème siècle av.JC .