Le prime notizie relative a Castel Sant'Elmo risalgono al 1275.

Nel 1329 Roberto d'Angiò affida l'incarico del suo ampliamento allo scultore e architetto senese Tino di Camaino che trasforma l'edificio in un vero e proprio palatium per il re e per la corte, a pianta quadrilatera, con due torri; nel 1348 viene definito nei documenti come castrum Sancti Erasmi, per la presenza in quel luogo di una cappella dedicata a Sant'Erasmo.

Nel 1456 un terremoto ne provoca il crollo delle torri e di alcune cortine murarie con relativi interventi di restauro a cura degli Aragonesi. Durante il viceregno spagnolo (1504-1707) il castello, chiamato Sant'Ermo e poi Sant'Elmo, forse per la corruzione del nome Erasmo, viene trasformato in fortezza difensiva per volere di Don Pedro de Toledo (viceré dal 1532 al 1553) e il progetto affidato a Pedro Luis Escrivà, ingegnere militare di Valencia. La costruzione dell'edificio nell'attuale configurazione, a pianta stellare, inizia nel 1537 e nel 1538 viene posta sul portale di ingresso l'epigrafe, sormontata dallo stemma di Carlo V con l'aquila bicipite asburgica.

Nel 1547 Pietro Prato costruisce la chiesa, distrutta nel 1587 da un fulmine con gli alloggi militari e la palazzina del castellano. Tra il 1599 ed il 1610 il castello è interessato da lavori di restauro, opera di Domenico Fontana, nel cui ambito viene riedificata la chiesa all'interno del piazzale, la dimora del castellano e il ponte levatoio.

Dal 1860, allontanatosi l'ultimo presidio borbonico, Castel Sant'Elmo è stato adibito a carcere militare fino al 1952. Successivamente la fortezza è passata al demanio militare fino al 1976, anno in cui ha avuto inizio un imponente intervento di restauro ad opera del Provveditorato alle Opere Pubbliche della Campania. I lavori, durati sette anni, hanno reso possibile il recupero dell'originaria struttura, rendendo visibili gli antichi percorsi, i camminamenti di ronda e gli ambienti sotterranei.