Oberhalb von Niederdielfen steht auf der Höhe des Grimbergs die Wallfahrtskapelle Eremitage. Sie ist die zentrale Wallfahrtsstätte des Siegerlandes und wurde 1677-85 als Nachfolgerin einer im Dreißigjährigen Krieg zerstörten Marienkapelle errichtet, die zwischen Oberdielfen und Rödgen gestanden hatte.
Nach den Plänen des Jesuitenarchitekten Anton Hülse entstand ein schlichter Vierkonchenbau mit verschiefertem Haubendach, das von einem Dachreiter bekrönt ist.
Im Zweiten Weltkrieg wurde die Kapelle stark beschädigt. Im Jahr 1961 konnte die Kirchengemeinde Niederdielfen als Ersatz für die verbrannte Ausstattung einen 1736 geschaffenen Barockaltar aus Brackwede (Westfalen) erwerben. Das Altarblatt zeigt den Tod des heiligen Josef. In der Wallfahrtskapelle, die kirchenrechtlich zur Pfarrei Niederdielfen gehört, aber von der Pfarrgemeinde St. Marien in Siegen betreut wird, finden regelmäßig Gottesdienste statt. Die wichtigen Wallfahrtstage sind der Karfreitag und der Sonntag nach dem Fest Maria Heimsuchung (2. Juli). Zudem führt im Monat Mai die jährliche Familienwallfahrt der Katholischen Arbeitnehmer-Bewegung des Dekanates Siegen zur Eremitage.

Der Ordensbruder Konrad Manz betreute bis zu seinem Tod 1733 die Kapelle. Bruder Konrad lebte in einer heute als Sakristei genutzten Klause neben der Kapelle als Eremit, woraus sich der Name „Eremitage” ergab. In einem Heiligenhäuschen mit der Statue des heiligen Ignatius von Loyola, des Ordensgründers der Jesuiten, befindet sich sein Grab. 1933 entstand hinter der Kapelle eine große Wallfahrtsanlage mit dem “Siegener Kreuzweg”, einem Werk des Bildhauers Hermann Kissenkötter aus Münster.

Seit 1953 leben Klarissen in der Nähe der Eremitage. Die Architektur des 1966 bezogenen Klosters findet mit einer lang gezogenen Außenmauer einen betonten Abschluss und bringt das Ordensleben in kontemplativer Abgeschiedenheit eindrucksvoll zum Ausdruck. 1993 eröffnete der Caritasverband in der ehemaligen Wallfahrerherberge das Tagespflegehaus „Eremitage“ für Senioren.

Aus dem Wallfahrtsbüchlein der Gnadenkapelle Eremitage von 1997 (Augustinus, Kommentar zu Psalm 34,4):
„Gott tröstet uns auf dem Wege; nur müssen wir uns bewusst sein, dass wir auf dem Wege sind. Denn dieses ganze Leben und alles, was du brauchst soll eine Hütte dem Wanderer sein, nicht ein Haus dem Bewohner Bedenke, ein Stück des Weges liegt hinter dir; ein anderes Stück hast du noch vor dir. Wenn du verweist, sei es, um dich zu stärken, aber nicht um aufzugeben.”

(Jan Spiegelberg, Rheinischer Verein für Denkmalpflege und Landschaftsschutz e. V. / LVR-Fachbereich Regionale Kulturarbeit, Abteilung Landschaftliche Kulturpflege, 2016)