天文年間の初め頃、甲斐の国から高順という僧が来て、内藤氏の元祖内藤内匠之助方に一泊し、庵を求めたので西向きの阿弥陀堂に居住させた。その頃疫病がはやり多数の死亡者がでた。高順和尚と内匠之助の両人でこれらを埋葬した。その施主が檀家になった。富士山と向かい合っているところから寺号を向冨山安楽寺と号した。二代玉峯祖林が小寺を建立し禅寺とした。後に戸塚の徳翁寺（大本山總持寺直末）の五世乾室厳隆大和尚の位牌を勧請し本寺と定めた。創設以来490余年。