Oorspronkelijk was er alleen een kleine kapel die pastoor Jan van Goch in 1612 heeft laten bouwen om hierbinnen tot rust te komen, want men zat middenin een roerige tijd: De Tachtigjarige oorlog. Ook vanuit plaatsen buiten Afferden kwam men ter bedevaart naar dit bedehuis, dat vroeger ook wel kapelletje der Zeven Weeën werd genoemd. Door krijgsgewoel in de zeventiende eeuw is het gebouw verwoest. Pastoor P. Vossen heeft het in 1688 laten herbouwen. Omdat de ruimte van het kapelletje beperkt is, heeft pastoor W. Berden in 1909 een grotere kapel laten bouwen, die aan de achterkant direct aansluit aan de kleine kapel.

De kleine kapel
De kapel uit 1612, herbouwd in 1688, heeft een Griekse kruisvorm. Uit het leien kruisdak verrijst een vierkant klokkenspitsje met kruis en windvaan, waarop staat 'Ave Maria'. De inwendig ongeveer 3,5 m. lange en brede ruimte is overkluisd met tongewelven. Het houten altaar met vier getorste zuiltjes en een schelpnis dateert uit de zeventiende eeuw evenals het beeld van Onze Lieve Vrouw van Smarten. De kapel heeft twee glas-in-lood ramen van de Nijmeegse glazenier Henk van den Burg.

De grote kapel
Een trapje van vier treden is de verbinding tussen de kleine kapel en de in 1909 gebouwde grotere kapel. Het is een zeshoekige bakstenen gebouw met een eveneens zeshoekige ingesnoerde toren, bekroond met een kleine klokketoren.

Het gebouw heeft bakstenen gewelven. De ingang is in het vooruit springend geveldeel met zadeldak. De vensters en deuren hebben hardstenen dorpels. In vier gevelpartijen bevinden zich telkens drie glas-in-lood ramen met aan de bovenzijde segmentboogvormig metselwerk Aan de achterzijde van het koorgedeelte is soortgelijk decoratief metselwerk aangebracht.

De bouwstijl is neo-romaans. Het gebouw is een mooi voorbeeld van de traditionele kapelbouw. Het is in 1983 grondig gerestaureerd.