Från omkring 1660 kanske tidigare har den svenska flaggan varit hissad på Kastellholmens krön.

I en instruktion från 1665 sägs att ”flaggan skall flyga både nätter och dagar” under seglationsperioden 2 maj fram till mitten av augusti.Kronans skepp skulle vid passage skjuta svensk lösen. För andra fartyg var det valfritt mellan styckeskjutning och fällande av märssegel.
 
År 1660 fanns inget kastell utan endast en vaktstuga ”corps de garde” invid flaggstången. Efter några år lät Amiralitetskollegium uppföra en mindre skans i form av ett åttkantigt torn med sexton styckeportar. På tornets krön restes en flaggstång. När tornet blev färdigt är inte helt känt, men år 1674 befallde Amiralitetskollegium att styckegluggarna skulle muras igen och att tornet skulle användas till krutupplag.
 
För att kunna hissa flaggan fanns en stege på tornets utsida. De pjäser som man skulle använda för saluter placerades på berget nedanför. Pjäserna var sju stycken och var krigstroféer. Byggnaden som kallades lilla kastellet, södra rundeln var i dåligt skick runt år 1715 och behövde repareras. Salutkanonerna byttes ut och antalet pjäser utökades år 1749 så att man kunde avge saluter på upp till 16 skott.
 
På 1760-talet härjades Södra Rundeln av eld.
År 1784 beslöt man att uppföra ett nytt kastell så att saluterande kunde utföras därifrån som i forna dagar. Återuppbygnaden kom till stånd men gick långsamt.
 
Omkring år 1820 inrättades ett laboratorium i kastellet för tillverkning av krutkarduser och patroner. Sista gången arbete pågick i denna fabrik var lördagen den 21 juni 1845, då flög byggnaden i luften. Orsaken förblev obekant. Ingen människa skadades emellertid.
 
Under åren 1846-48 uppfördes det nuvarande kastellet efter ritningar och under överinseende av arkitekten Fredrik Blom. Första tanken var att kastellet skulle ha en försvars funktion med en bombkanon på taket till det större tornet. I kastellet skulle 112 man kunna förläggas i fyra logement. Salutbatteri anordnades runt kastellet för 8 kanoner. På kastellets topp skulle varje dag örlogsflaggan vara hissad.
 
I augusti 1848 stod den nya nuvarande kastellet färdigt och 1850 togs det i bruk som kasern. Det stod snart klart att det inte var lämpligt till detta ändamål. Det stora rummet i nedre planet var kök och genomgångsrum till de opraktiskt utformade flyglarna. Redan år 1851 flyttades personalen till båtsmanskasernen pga hög sjuklighet till följd av frukt och andra sanitära olägenheter.
 
1858 reparerades byggnaden. ” den som kasern olämpliga byggnaden förändrades då till lika olämpliga bostäder.”
Från 1860-talet och fram till 1956 användes kastellets nedre botten och första våning som lägenheter för på örlogsstationen och varvet tjänstgörande uppbördsmän mfl.
 
Mellan 1939-45 var ett antal luftvärnspjäser ingående i Stockholms luftförsvar placerade runt kastellet.
 
Boken ”Roparen” av Stieg Trenter ger en bra bild av hur det såg ut i en bostadslägenhet i kastellet år 1954.
 
1956 utdömdes lokalerna som bostäder. Sjöfartsverket installerade en kontrollstation i kastellet, viss personal var även förlagd dit.
 
1958 användes lokalerna av marinpolisen och kustflotttans personalvårdsavd.
 
1972 utdömdes lokalerna som förläggnings och expeditionsutrymmen och under de förljande åren genomfördes en omfattande renovering av samtliga utrymmen i byggnaden.
 
1975 i maj flyttade Sjövärnskåren, Sjövärnskårernas riksförbund och Kungl. Örlogsmannasällskapets bibliotek in.
Föreningen Sveriges Sjöfart och sjöförsvar disponerar första våningen för sin verksamhet.

Då marinen avslutade sin verksamhet på Skepps- och Kastellholmarna beslutades att örlogsflaggan på Kastellet skulle halas ned för gott. Detta efter att varit hissad i mer än 300 år. Beslutet väckte upp kraftiga känslor bland såväl sjöofficerare som Stockholmare. Hissad flagga symboliserar ett fritt Sverige.

Då dåvarande kustkorvetten HMS  Stockholm den 2 april 1990 passerade Kastellet på sin väg ut från Stockholm efter 90-talets första örlogsbesök i sin hemstad, (som hon anlöpt den 29 mars utan att mötas av en blåsande flagga på kastellet), sköts svensk lösen samtidigt som några ur besättningen hissade örlogsflaggan på Kastellet.

Detta väckte stor förvirring och ett stort antal samtal från stockholms innevånare till marinstaben följde.
Sex timmar senare halas örlogsflaggan ned på order av marinstaben. Dåvarande fartygschefen på HMS Stockholm kallades en vecka senare till dåvarande Chefen för Marinens Kavajhytt, för förklaring.

Efter ingripande av dåvarande överbefälhavaren, beslutades att örlogsflaggan åter skulle vaja från Kastellets stång per den 6 juni 1990 samt att hissande och nedhalande av densamma sker genom högvaktens försorg.

1991 iordningställde SOSS konferensrum i tornrummet och rummet totalrenoverades sedan 2000 - 2001 för ca 900.000 kr.

2006 Flyttade Sjöofficerssällskapet in sin administrativa verksamhet i Kastellet
 
Kastellet är statligt byggnadsminne sedan 1935.