Kolekcija ovog muzeja je začeta 1764. kao zbirka umetničkih predmeta carice Katarine II, koja je od 1852. otvorena za javnost. Za dva i po veka u ovom muzeju je sakupljeno oko tri miliona umetničkih i istorijskih eksponata, iz epoha od kamenog do savremenog doba. Danas je muzej Ermitaž prvorazredna turistička atrakcija koju godišnje obiđe 3 do 4 miliona posetilaca.
Najznačajnija zbirka ovog muzeja je zbirka zapadnoevropskog slikarstva sa delima: Mikelanđela Buonarotija, Leonarda da Vinčija, Rubensa, Rembranta, Pusena, Kloda Lorena, Kanaleta, Vinsenta van Goga, Pabla Pikasa, Anrija Matisa i drugih. Pored zbirki italijanskog, francuskog, španskog i nizozemskog slikarstva, muzej je poznat po svojoj arheološkoj zbirci, zbirci srednjevekovne evropske umetnosti, zbirci skulptura i primenjene umetnosti. Tu je i kolekcija ruske umetnosti svih epoha, mada je njen veći deo izmešten u Ruski muzej.
Muzej Ermitaž ima svoje filijale u: Amsterdamu, Kazanju, Las Vegasu, Los Anđelesu i Ferari.
Ermitaž je deo gradskog područja Sankt Peterburga koje je kao spomenik Svetske baštine pod zaštitom UNESKO.