A település megközelíthető közúton: az M3-as autópályáról Füzesabonynál vagy Mezőkövesdnél kell Eger felé letérni, de elérhető a Bükkön át Ózd vagy a Mátrán át Salgótarján felől is. Vasúton a Füzesabony-Eger-Putnok vonalon juthatunk el ide.

Közigazgatásilag sokáig Egerhez tartozott. Szarvaskőváralja nevű település a XV. században már szerepelt különféle iratokban. A vár építése 1248 utánra tehető. Telekessy püspök 1710-ben a pestis elől ide vonult vissza, és itt tartotta "arany miséjét".

A falu nevének eredetéről egy monda maradt fenn. A történet szerint egy vadászat alkalmával a kutyák egy szarvast vettek üldözőbe, az a sziklagerincre menekült, ahol később a vár is felépült. Mivel menekülni tovább nem tudott, a szikla tetejéről a mélybe ugrott. A meredek sziklaszirt tetején, a Keselyű-ormon áll az ősi szarvaskői vár, amely valamikor Eger elővára, úgynevezett tarisznyavára volt.