A meredek sziklaszirt tetején áll az ősi szarvaskői vár romja. A vár fölötti rész természetvédelmi terület. A falmaradvány kevés, de a gyönyörű kilátás miatt érdemes megtenni ezt a nem könnyű sétát.

A rom tetején kialakított kilátóból nagyon szép a panoráma: látni a Keselyű-bércet, a Tardos-bércet, a kettő között pedig az Eger-patak kanyargós, szurdokszerű bevágását.

A vár valamikor Eger elővára, tarisznyavára volt. (Az őrség egy hétre való elemózsiát kapott a tarisznyájába.) Keletkezésének pontos idejét nem ismerjük, de az iratok alapján azt jól be lehet határolni, hogy 1261-1295 között építették az egri püspökök. A Szapolyai János által kinevezett várnagy és az erősség 1528-ban jól állta Ferdinánd király, pontosabban vezére, Horváth Ferenc ostromát, kiéheztetéssel mégis sikerült elfoglalni. Az országgyűlés 1545-ben elrendelte a vár lerombolását és hogy jövedelmét az egri vár fenntartására használják fel, de a határozatot nem hajtották végre, a várat 1549-ben Horváth átadta Dobó Istvánnak.

Az időközben rongált állapotba került erősséget 1583-ban Christoforo delle Stella irányításával megerősítették; Eger eleste (1596) után az üresen hagyott várat a török megszállta, és csak 1687-ben hagyta el. A teljesen ép erődítmény 1699-ben annak a Telekessy István egri püspöknek került a birtokába, akinek kezébe II. Rákóczi Ferenc 1705-ben a fejedelmi esküt letette. A vár a szabadságharc után is az egri püspökök birtoka maradt, de hadi szerepe megszűnt, karbantartásával nem törődtek, így teljesen elpusztult.