Spiren til Eremitage Gruppe blev stiftet den 16 februar 1961, da Ørholm Trop blev delt, og i februar 1962 dannedes Eremitage Gruppe med flokkene Dyrehave og Hubertus samt Eremitage Trop.
Gruppen startede i to kælderlokaler i Lundtofteparken, og da de blev for trange, fik gruppen plads i en træbarak ved Lundtofte Gamle Skole. I tidens ånd blev gruppen formelt en blandet gruppe af drenge og piger, da Lundtofte Trop fra Det Danske Pigespejderkorps blev sammenlagt med Eremitage Trop.
I 1980 fik vi så vores egen hytte, "Eremitten," på resterne af en gammel byggelegeplads. Siden da er den vokset med både kanohus, materielrum og et rafteskur.