本尊は、千手千眼観音菩薩。伝承によれば創建は宝亀元年（770年）、大伴孔子古（おおとものくじこ）によるとされる。

草創の縁起は『粉河寺縁起絵巻』（国宝）に伝えられている。

「粉河寺縁起」には2つの説話が語られている。1つ目の話は粉河寺の草創と千手観音の由来に関するものである。紀伊国の猟師・大伴孔子古は宝亀元年（770年）のある日、山中に不思議な光を発する場所を見つけて、そこに小さな庵を営んだ。これが粉河寺の始まりという。その後のある日、孔子古の家に一人の童子（童男行者）が訪ねて来て、一晩泊めてくれと言う。童子は宿を借りたお礼にと言って、7日かけて千手観音の像を刻んだ。8日目の朝、孔子古が見てみると童子の姿はなく、金色の千手観音の像だけがあった。孔子古は殺生をやめて観音を信仰するようになったとのことである。

2つ目の話は千手観音の霊験説話である。河内国の長者・佐太夫の娘は重い病で明日をも知れぬ命であった。そこへどこからともなく現れた童行者が千手千眼陀羅尼を称えて祈祷したところ、娘の病は全快した。喜んだ長者がお礼にと言って財宝を差し出すが童行者は受け取らず、娘の提鞘（さげざや、小太刀）と緋の袴だけを受け取り、「私は紀伊国那賀郡におります」と言って立ち去った。長者一家が那賀郡を尋ねて行くと、小さな庵に千手観音像が立ち、観音の手には娘の提鞘と緋の袴があった。長者一家は、あの行者が観音の化身であったことを知ってその場で出家し、孔子古とともに粉河寺の繁栄に尽くしたとのことである。

以上の説話がどこまで史実を反映したものかは定かでないが、粉河寺は平安時代には朝廷や貴族の保護を得て栄えたことは確かである。清少納言の『枕草子』194段には「寺は壺坂、笠置、法輪（中略）石山、粉川、志賀」とあり、『梁塵秘抄』に載せる今様には、「観音験（しるし）を見する寺、清水、石山、長谷の御山、粉河（後略）」とある。西行の『山家集』や、架空の物語である『うつほ物語』『狭衣物語』にも粉河寺への言及があるなど、遅くとも平安時代中期・10世紀には観音霊場として著名であったことがわかる。平安時代後期には、その頃から始まった西国三十三所観音霊場巡りの札所の1つとして栄えた。

天正13年（1585年）、豊臣秀吉が紀州に攻め入り、根来寺や雑賀衆とともに抵抗したものの全山焼失した。この時、粉河寺縁起絵巻も焼損した。正徳3年（1713年）にも火災があり、現在の伽藍はほとんどがそれ以降の江戸時代の再建である。（２０１５．２．２４訪問）