当岩屋堂観音の由来について確かな文献はないが、伝説として今に伝わるのは永禄年間の頃この付近一帯を領有していた中田加賀守（禄高３万石）が建立したものである。その昔、洪水の時に山が崩れ土中より二尺余りの正観世音菩薩像が現れたので、其の所にお堂を建て御本堂としたもので岩屋堂観音と呼ばれるようになったとのことである。