寺伝では神亀5年（728年）、聖武天皇の勅願寺により行基が開創したと伝える。

南北朝時代に覚祐を開山として赤松則祐により再興された。以来、室町時代を通じ守護大名赤松氏との関係が深かった。

創建以来の修験道の行場となっている。京都の聖護院にも所属し、江戸時代には南光坊と称した。

また、寺が旧南光町に所在しているところから、「南光坊南光亭」と題して、落語家の桂南光を迎えた落語会が毎年開催され、盛況している。2010年で第14回を迎えている。（２０１７．１１．２８参詣）