Um 1668 entstehen Legenden über den Berg und allmählich wird aus dem befestigten Aussichtspunkt ein Wallfahrtsort.
Die Legende erzählt: Im Jahre 1668 gingen zwei etwa 18-jährige Mädchen von Pobenhausen auf den Kalvarienberg, damals noch Geisberg genannt, zum Grasschneiden. Plötzlich soll die eine, Margaretha Seydelmeyer, ein schönes Kindlein mit einem Lämmlein, das von Wölfen verfolgt wurde, gesehen haben. Als sie diese Erscheinung ihrer Gefährtin gezeigt habe, sei alles aus ihren Augen verschwunden. Beide Mädchen seien dann eiligst in das Dorf zurückgekehrt und hätten in großer Aufregung von der Erscheinung erzählt, worauf heilige Ehrfurcht vor diesem Berg alle Bewohner der Gegend erfasste.
Pfarrer Holzapfel lässt 1688 an dieser Stelle drei Kreuze errichten. Aus dem einstmaligen "Geisberg" wird der "Kalvarienberg", auf den von Jahr zu Jahr mehr Wallfahrer pilgern, die von gemeldeten Wundern und auch von den dort abgehaltenen Passionsspielen angezogen werden.
1691 wird der Grundstein zu einer Kirche mit drei Altären gelegt
1694 wird der Bau vollendet
1698 stellt man das große Vesperbild, die geschnitzte Figur der schmerzhaften Muttergottes, auf den Hochaltar
1701 gewährt Papst Clemens XI. einen vollkommenen Ablaß
Während des Pandurenkrieges kommt die Wallfahrt gänzlich zum Erliegen, hat doch die Kirche zu jener Zeit keinen Priester. In der Säkularisation steht das Wallfahrtskirchlein bereits auf der Liste der abbruchreifen Gotteshäuser. Nachdem Freiherr von Pfetten Einspruch erhob, bleicht das Benefizium in seinen Rechten unangetastet.
Die Gnadenkapelle wird ausgebaut, und die Einsiedelei zu einer Benefiziatenbehausung erweitert.
1764 lebt die Wallfahrt wieder auf
1766 stiftet Freiherr von Pfetten das Benefizium für einen ständigen Geistlichen auf dem Kalvarienberg
Papst Clemens XIII. gewährt einen achttägigen Ablass für die Pfingstwoche, Pius VI. dehnt ihn aus für alle Wallfahrer, die während des ganzen Jahres ihren Weg auf den Berg finden. Die Schar der Pilger zum Kalvarienberg in Pobenhausen nahm immer mehr zu.
1988 feierte Pobenhausen das 300-jährige "Bergjubiläum"
Die Woche vom Pfingstmontag bis zum Dreifaltigkeitssonntag bürgerte sich als die der eigentlichen Wallfahrtstage ein. Noch heute kommen an diesen Tagen die Wallfahrer aus den umliegenden Gemeinden zu Fuß nach Pobenhausen. Später wurden dann die Fastenfreitage eingeführt, die ebenfalls bis heute gehalten wurden und von den Gläubigen geschätzt werden.
Am Fest Christi Himmelfahrt treffen sich alljährliche die Jugendlichen zu einem Wallfahrtsgottesdienst auf dem Kalvarienberg.
Link zum "Dokumentationszentrum der europäischen Heiligen Berge, Kalvarienberge und Devotionsstätten"