Die Gemeinde Elmen war seit alter Zeit nach Elbigenalp eingepfarrt und wurde von dort in seelsorglicher Beziehung betreut. Bereits in der ersten Hälfte des 15. Jahrhunderts sollte bereits ein Kirchlein zu Ehren unserer lieben Frau, des heiligen Michael und der heiligen drei Könige erbaut worden sein. Im Jahr 1515 erhielt die Gemeinde Elmen einen ständigen Kaplan. 

Die Zeit der Erbauung der hiesigen Kirche kann aus Mangel an Urkunden nicht angegeben werden. Wie es aber scheint, wurde das alte gotische Kirchlein, welches im Jahr 1667 durch eine Feuersbrunst stark beschädigt wurde, umgebaut und erweitert und erhielt ihre jetzige Gestalt.

Beeindruckend ist das Gemälde des früheren Hochaltars, die Anbetung der Könige, von Karl Selb aus Unterstockach. Von Johann Kärle stammen die Deckenmalereien. Die Orgel der Pfarrkirche Elmen galt früher als die beste und größte Orgel im ganzen Lechtal. Interessant ist auch der sogenannte "Totentanz" von Anton Falger aus Elbigenalp, auch wegen der darauf abgebildeten alten Lechtaler Tracht. 

Der Pfarre Elmen ist auch der Weiler Martinau zugeordnet mit dem St. Josefs-Kirchlein.