La fortaleza pudo ser construida en época púnica (fenicio reciente), pero hasta el momento actual no se han hallado estructuras de dicha cultura, aunque sí fragmentos cerámicos.
En el estado de la investigación arqueológica se puede afirmar que fue fortaleza romana, habiéndose encontrado restos que lo confirman.
La fortaleza a lo largo de su periodo árabe se va a ver envuelta en una serie de acontecimientos que geógrafos y especialmente historiadores árabes narrarán.
La entrada de Abderramán I, la revuelta de Omar ben Hafsún, los diversos sucesos en el Reino de Taifas de Granada, la entrada de almorávides y almohades, y muy especialmente el reino nazarí de Granada, producirán importantes hechos en los que la ciudad de Almuñécar y su fortaleza tomarán parte activa.
La fortaleza en época nazarí, ademas de servir de palacio de recreo de los sultanes granadinos, será famosa por su cárcel y mazmorra en la que fueron encarcelados algunos sultanes destronados, ministros caídos en desgracia o jefes militares cuya influencia inspiraba temor.
Finalmente la fortaleza fue entregada por el Caid ibn al-hay a los Reyes Católicos en Diciembre de 1489 tras una capitulación.
Después de la entrega será fortaleza cristiana , recibiendo el nombre del santo patrón de la ciudad, realizándose una serie de restauraciones y remodelaciones.
En 1808, durante la Guerra de la Independencia, estuvo en manos de los franceses y fue bombardeado por la flota inglesa, quedando en estado ruinoso.