Zu Ehren der Heiligen Mutter Maria ließ Ritter Zaisolf von Rosenberg, der damalige Amtmann von Jagstberg, 1510 die Kapelle erbauen. 1514/1518 wurde der Sippenaltar in der Schule des Tilman Riemenschneider gefertigt. Da im 16. Jahrhundert die Wallfahrer immer weniger wurden, erlaubte man einem Förster 1551, die Kapelle als Stall zu nutzen. Nach dem Tod der Försterwitwe wurde die Kapelle renoviert und neu geweiht.
Im Jahre 1597 gab es ein grosses Wallfahrtsjahr, bei dem viele von Lähmungen, Hauterkrankungen etc. geheilt wurden, aber bereits 1598 versiegte das Quellwasser aufgrund der grossen Nachfrage; die Wallfahrt ging zurück.
Ab 1870 wurde die Wallfahrt wieder aufgenommen und seitdem wird in Mulfingen am 26. Juli der St. Annatag gefeiert. Vor der Kapelle finden schon in der Frühe Gottesdienste für die Wallfahrer statt, die Feierlichkeiten werden mit einer Lichterprozession am Abend beendet.
