В X веке на высоком неаполитанском холме Вомеро располагался небольшой храм в честь святого Эльма. В память об этом храме и был назван замок, строительство которого началось в 1329 году на его месте. В XVI веке замок был перестроен испанцами в форме шестиконечной звезды. С тех пор он остаётся практически неизменным.