当初は霊鷲山祗園寺といい天台宗に属していましたが、１６８４年（貞享元年）に曹洞宗に転じたといわれています。そして、寺院になる以前には中世の豪族、荘園の屋敷があったとされ、寺院周りの堤などは当時の名残とされており、鳥取県の史跡指定となっています。
　実際、2008年に大山町教育委員会によって発掘調査が行われ、12世紀から16世紀ごろまで存在したであろう豪族の館跡が確認されました。町教育委員会の辻信広主任（当時）は、「よく知られている南北朝時代の武将・名和長年と同時期に存在した有力な国人層が住んでいたと想定される。荒松氏や近くの富長城の城主、福頼氏の一族の館だった可能性がある」と語っています。
　なお、地名の「茶畑（ちゃばた）」の由来は、かつて当地に藤原氏の庄園山道村があり、茶の栽培が行われて朝廷にも献上されたといい、その頃茶畑村と改められたという。

　当寺は幾度かの火災により、寺院の歴史を示すものは焼失しておりましたが、「大きなお屋敷があった」との言い伝えは事実であったことが証明されました。
古より人々が根付き、生活してきたこの土地は、これからの時代も変わらず人とともにあり続けるのでしょう。樹齢400年ともいわれる欅の大樹はその時代より静かに私たちを見守り続けています。