Základ hradu tvoří velice zajímavý a ojedinělý skalnatý útvar sopečného původu. Dva lávové sopouchy vyvřely z nitra země v době třetihor. Následná eroze splavila zakrývající hlínu, písek a ostatní měkké horniny a obnažila tento útvar do dnešní podoby. Celek je světovou přírodní raritou.
 
Založení hradu spadá až do pozdního středověku - přibližně mezi roky 1380 až 1390, kdy majitel zdejšího panství Čeněk z Vartemberka využil přirozené obranné vlastnosti čedičových skal. Na hřebenu mezi oběma vrcholy založil vnitřní hrad s obytnými paláci a na vrcholu obou skal pak nechal vybudovat obranné, ale zároveň obytné věže. Na nižším, nazývaném pro jeho rozložitější vzhled Baba, stávala šestiboká dvoupatrová stavba, přístupná z paláce ze severní strany. Na vyšším a štíhlejším vrcholu nazývaném Panna stával palác obdélníkový, původně třípatrový, v jehož prostoru byla prý i hradní kaple.

 Výrazné výškové uspořádání staveb (relativní převýšení Panny oproti prvnímu nádvoří cca 57 m, Baby cca 47 m) umožnilo vybudovat systém obrany v nedostupnosti a dokonalém kruhovém přehledu vnitřního hradu, jeho svahů i dalekého okolí. Vlastní paláce obývané pouze ve vrchních partiích poskytovaly ve spodních částech dostatečné skladovací prostory pro uložení zásob na doby obléhání. Vodu poskytovala vlastní hradní studna na prvním nádvoří, asi 30 metrů hluboká, a na Panně byly ve skále vybudované důmyslné cisterny na dešťovou vodu. Pod hradem se údajně dále nacházejí rozsáhlá sklepení a v bludišti pískovcových skal a trhlin jeskynní prostory s jezírky, dnes nepřístupné, ústící patrně v jeskynním systému zvaném Sklepy (skalní město Apolena nedaleko pod hradem).

 Vlastní systém tří obranných pásů tvořily hradby 1,5 - 2 m široké a až 15 m vysoké. Všechna nároží jsou armována pískovcovými kvádry. Za první - vstupní branou jsou zbytky bývalého purkrabství, strážnice, kde ještě kolem 19. století byly zbytky krbu. Tento prostor prvního nádvoří - tzv. vnějšího hradu sloužil i jako menší hospodářské zázemí. Druhou - tzv. kulisovou branou jsme prošli do prostoru vnitřního hradu, kde u jižní zdi stávaly konírny a po stranách menší obytné budovy. V místě nového schodiště na věž Babu stál vysoký dřevěný palác, kterým se vystoupalo až do vrchního kamenného paláce vytápěného původně kachlovými kamny. Vlevo z tohoto nádvoří byl přístup po kamenných schodech malou brankou pro pěší do nejlépe chráněné části hradu, dnes se zbytky hlavního paláce. Ten byl původně podélně dělený, s trámovými stropy, čtyřpatrový, s viditelnými zbytky děr jednotlivých podlaží. Na vrchu jsou patrné zbytky oken s kamenným ostěním a sedátky pod okny. Vybudované točité schodiště zvané Aehrenthalské vzniklo v prostoru pravého paláce v letech 1841 - 1843.

 Zakladatel hradu Čeněk z Vartemberka pocházel z mocného rodu severočeských Markvarticů, jejichž majetek tehdy sahal od pohraničních hvozdů až po Jičín. Ke konci svého života se zadlužil (ptrně i stavbou hradu) tak, že roku 1394 musel své panství Nový Bydžov a Trosky postoupit králi Václavu IV., svému největšímu věřiteli. Ten hrad po čtyřech letech prodává mocnému rodu Bergovců, který na Troskách hospodařil až do roku 1455, kdy poslední z rodu Jan pansví prodal Janu Zajíci z Hasenburka, majiteli nedaleké Kosti. V této době byl hrad plně funkční, obýván a sloužil jako mocná pevnost a nikdy nebyl vojensky dobyt. Ani roku 1424, kdy ho krátce obléhal Žižka, ani r. 1428, kdy ke hradu po požáru věže Baby přitrhli Sirotci. Bergovci coby tvrdí katolíci v této obě pevně vládli celému okolí.

 Zajímavá příhoda se udála někdy koncem r. 1437 nebo počátkem r. 1438, kdy se hradu lstí zmocnila loupeživá cháska pod vedením rytíře Šofa a jeho druha Švejkara. Ti se zde na hradě potom s posádkou asi 200 mužů ubránili i zemskému vojsku a terorizovali odsud okolí až do r. 1444, kdy se donuceni okolnostmi museli hradu vzdát. Za držení hradu Janem Zajícem ztráci tento postupně na své důležitosti. Panstvo pobývá spíše na Kosti a hlavně pohodlné Hrubé Skále.

 Roku 1497 přešly Trosky do majetku Šelmberků, roku 1524 Bibrštejnů, 1551 Lobkoviců až je roku 1559 kupuje Jindřich ze Smiřic. Sláva hradu v této době definitivně končí. Smiřičtí přestavují hrad Skálu (dnes Hrubou Skálu) v pohodlné sídlo a odtud spravují celý kraj. Za jejich éry doznal poměrně velkého hospodářského rozkvětu. Smiřičtí zakládají rybníky, ovčíny, pivovary, chmelnice a pro okolní vesnice je to doba klidu a míru.

 Za třicetileté války byl majitelem panství Albrecht z Valdštejna a i po jeho zavraždění r. 1634 zůstávají Trosky v majetku rodu a to až do r. 1821. Tehdy hrad získal nový majitel - Jan Lexa z Aehrenthalu. Ten je typickým představitelem nově nastupující zbohatlické generace podnikatelů. Kupuje nejen celé panství s Troskami, Hrubou Skálou a Valdštejnem, ale i šlechtické tituly hraběte a rytíře. Ovlivněn romantismem této doby zachraňuje mnohé památky na svém panství, opravuje je i upravuje, někdy však bohužel méně citlivě. Z této doby pochází na Troskách vybudovaná, v úvodu již zmíněná, vyhlídková věž, postavená z materiálu zbořené čelní stěny obytných paláců a sklepení. Velkolepě plánovaná stavba však zůstala nedokončena, přerušena předčasnou smrtí stavitele. Ale i tak mnozí básníci, malíři a romantici, okouzleni vzniklou vyhlídkou v širý kraj, učinili torzo hradu nesmrtelným.

 Roku 1925 přechází hrad do vlastnictví Československého státu, v jehož majetku zůstává až do dnešních dnů. První větší opravy v této době provádí Klub českých turistů (třicátá léta), ale ke skutečně odborným a rozsáhlým zabezpečovacím pracím a údržbě hradu dochází až v několika posledních desetiletí za správy hradu Státním památkovým ústavem v Pardubicích. Opravy spočívají hlavně ve statickém zabezpečení skalního masívu, vlastních hradeb a zbytků hradních paláců. Součástí těchto prací je samozřejmě i archeologický průzkum odhalující nám neustále nové poznatky z minulosti místa.

 V letech 1999-2000 se vybudováním impozantního schodiště na Babu uzavřela další etapa oprav a rekonstrukcí. Precizní stavba, inteligentně vklíněná mezi skály, dokonalost technického řešení, to vše dokazuje um českých rukou a hlav a navazuje na dovednost našich předků, kteří vystavěli tento osmý div světa.