片岡山飢人伝説とは、『日本書紀』の推古天皇21年（613年）12月条や『元亨釈書』に見える次のような話である。聖徳太子こと厩戸皇子が片岡山を通りかかったところ、飢えて瀕死の異人に出会った。太子はその異人に当座の寒さと飢えをしのぐため、食物と自分の衣服とを与えた。翌日、使いをやって異人の様子を見に行かせたところ、すでに息絶えていたので、丁重に葬った。それからしばらくして墓の様子を見に行かせると、死体は消えており、衣服だけがきちんとたたまれて、棺の上に置かれていた。これを知った里人は、あの異人は達磨禅師の生まれ変わりに相違ないと言い、聖徳太子が自ら刻んだ達磨像を祀ったのが達磨寺の始まりであるという。

達磨寺の境内には達磨寺1号墳・2号墳・3号墳と称される3基の古墳（6世紀頃の築造）が存在し、このうちの3号墳の上に本堂が建てられている。この古墳は平安時代には聖徳太子ゆかりの達磨禅師の塚であると信じられていたようである。寺院としての形態が整うのは鎌倉時代以後と思われる。

境内には松永久秀の墓がある。（２０１５．３．１７訪問）