舒明天皇の御代（629～641）役の行者の弟子学文行者が修験道場として開山し、およそ百年の後嘉祥元年（848）に天台宗比叡山の座主慈覚大師円仁が仁明天皇の勅命を奉じ、寺領三百町を賜り、寺を開基したと伝えられます。由緒も正しく、四院十二坊を配し、境内に七十五社、甓を連ね、天下の名刹に列していました。
比叡山・日光山との交流も深く、歴代名僧輩出して、寺門の興隆と信徒各家の安泰祈願をつとめました。中世においては武田信玄公の帰依厚く、ことに川中島合戦に於ては観世音の霊験があったとして、寺紋に武田菱を賜り、信者は甲州、上州、越後に及びました。
江戸時代と昭和の大火災で本堂と仏像の大部分は消失しました。
3月末の日曜日に『大火生三昧火渡り護摩供養（火渡り）』が行われます。

径38cmの銅製。十一面観音（上半部）聖観音（下半右）釈迦如来（下半左）光背二重円光、重要文化財。
県下では最も古い。鎌倉中期建長9年（1249）。御正体としては、このものでは数が少なく、銘文もはっきりしており、古風な形を止め、重厚な作品であることから、鎌倉前期の代表作のひとつで、岩殿寺の由緒ある歴史を物語っています。国立博物館に出品されていたことが幸いして焼失を免れました。

古代においては天台系修験の中心寺院であったこと、春の富蔵祭には、護摩講がおこなわれていることから昔は火渡りが行われていたと推考されます。太鼓が鳴り響き、導師により火が付けられ大導師が願いを書いた護摩木を投げ込み焚きます。火が収まると塩を撒き清め大導師、導師がお渡りになり、その後参拝者が大願成就を祈願して続きます。その様子は古代の修験の舞台を垣間見るようです。