Die Begründung der Wallfahrt auf den Dreifaltigkeitsberg geht auf eine Legende zurück, mit der auch der Bau einer ersten Kapelle zusammenhängt. Anfang des 14. Jahrhunderts soll ein Hirte seine Schafe auf dem damals noch Baldenberg genannten Berg verloren haben. Auf der Suche nach den Schafen entdeckte er in einem Gestrüpp einen Bildstock, der die Heilige Dreifaltigkeit darstellte. Da er alle Schafe glücklich wieder fand, gelobte er den Bau einer Kapelle, deren Bau auf das Jahr 1320 datiert wird. Die zunächst hölzerne Kapelle und ihre Nachfolgebauten waren über viele Jahrhunderte das Ziel von Wallfahrten, die insbesondere bei Viehseuchen –  unter anderem viel aus dem Villinger Raum – aufgesucht wurden. Verschiedene Votivbilder aus dem 18. Jahrhundert, die heute noch in der Dreifaltigkeitsbergkirche zu sehen sind, belegen diese Form der Volksfrömmigkeit. Die Wallfahrt erlitt einen Einbruch, nachdem diese durch die Säkularisierung im Jahr 1805 verboten wurde und erst 1849 wieder aufgenommen werden konnte. Jährlich regelmäßig stattfindende organisierte Wallfahrten sind seit einigen Jahrzehnten zum Beispiel die Männerwallfahrt und die Vertriebenenwallfahrt. Gerne besuchen Gläubige heute die Wallfahrtskirche, auch ohne sich einer organisierten Wallfahrt anzuschließen. Seit einigen Jahren betreibt der Claretiner-Orden, der seit 1924 auf dem Berg ansässig ist einen Klosterladen, in dem Wallfahrtsandenken erstanden werden können.