大化元年（６４５年）、法道仙人の開基と伝えられる寺である。孝徳天皇の病気平癒を岩屋寺の大岩の下で行いその功によって七堂伽藍が整ったと言われる。その後、本院六院、十八坊を数える隆盛をみたが、天正五年（１５７７）別所吉親の兵火によってことごとく灰尽に帰した。慶長六年（１６０１）復興、延宝四年（１６７６）。国の重要文化財に指定されている本尊毘沙門天を安置する本堂の上に大岩がつきでている。