Rakvere Vallimäe tipus asus juba enne 13. sajandit eestlaste muinaslinnus Tarvanpää, mis toimis toona Virumaa pealinnusena. Linnus oli oluliseks teetõkkeks: Jõhvi suunas kulgev tee — hilisem Tallinna maantee — asus praktiliselt linnuse põhjanõlva all, mis võimaldas linnusest kontrollida kogu liiklust.

1220. aastal vallutasid Tarvanpää muinaslinnuse taanlased ning hakkasid selle asemele oma linnust rajama. Tarvanpää tõlkimisel saksa keelde saadi nimekujuks Wesenberg. Selle nime all tunti nii linnust kui ka hilisemat linna kuni 20. sajandi alguseni, mil saksakeelsed nimed unustusehõlma vajusid. Alles siis hakkas linn kandma nime Rakvere.

Linnuse puitehitised asendati kivist ringmüüriga ilmselt alles 13. sajandi lõpus ja nii saigi Rakvere linnus tüüpilise kivilinnuse välimuse. Tõeline ehitus läks Rakvere Vallimäel lahti aga alles peale 1346. aastat, mil Taani loovutas linnuse koos kogu Põhja-Eestiga Liivi ordule.

Tõus kivimurrust taas maaliliseks paigaks

Aastal 1558 langes Rakvere linnus koos linna ja ümbruskonnaga venelaste kätte, kes täiendasid lõunapoolset eeslinnust mitmete kindlustustega. Selleks vajalik ehitusmaterjal saadi nii linna kivimajade kui ka kloostri ehitiste lammutamisest. Linnast säilis toona tugevalt purustatuna vaid kirik.

1581. aastal vallutasid linnuse rootslased, kes selle kindlustamist jätkasid, rajades bastionid. Kõigest kakskümmend üks aastat hiljem vallutasid linnuse poolakad, kes selle 1605. aastal taganedes õhku lasid. Alates sellest ajast jäi Rakvere linnus varemetesse.

17.-18. sajandil kivimurruna kasutatud linnusevaremeid hakati maalilise jalutuskohana väärtustama 19. sajandil. Varemete esimesed korrastustööd toimusid möödunud sajandi alguses. Kõige rohkem on linnusest järel konvendihoone lõunatiivas — selle müürid on tänini säilitanud keskaegse kõrguse, samuti on väga palju alles kahest keskaegsest tornist, mis asuvad lõunakülje nurkades. Kagutornis lehvib alates 1990ndate algusest Eesti lipp. Üsna palju on säilinud ka väravaehitist kaitsnud rondeelist ning mitmeid lõike ida- ja läänemüüridest.

1975-88 toimunud linnusevaremed korrastati ja konserveeriti. Varemetesse on rajatud linnuse ajalugu tutvustav muuseum, külastajad pääsevad säilinud lõunakülje kõigile kolmele korrusele ning samuti tornide vahel asetsevale müüri kaitsekäigule. Linnuses asuv Schenkenbergi kõrts pakub keskaegsete retseptide järgi valminud hõrgutisi.

Räägitakse, et linnuse juurest lähevad maa-alused käigud erinevatesse suundadesse. Need viinud välja suisa Haljala kirikusse, Toolse linnusse, Porkunisse ja Vao mõisa. Viimane käik olevat olnud lausa neljahobusetõllaga sõidetav ja avastati siis, kui see Kiltsi mõisa põllul sisse varises. Kui linnuse hoovis tehti arheoloogilisi kaevamisi, rääkis hea suuvärgiga öövaht, et ta olevat noore poisina käinud maa-alust käiku pidi nii pikalt, et jõudnud suisa mere alla välja nii et lained kohisenud pea kohal.