ある日、後鳥羽上皇の女官で松虫と鈴虫の2人が、彼らの説法に感化を受けて上皇のもとをひそかに去り、出家してしまった。上皇は大いに怒り、住蓮坊と安楽坊を殺してしまう。その後、道場は荒廃してしまったが、江戸時代の初め、延宝9年(1681)に2人の僧侶の菩提を弔うため、現在地に伽藍(がらん)を建てたのが、今の安楽寺の始まりになる。今も境内には、2人の僧侶の供養塔、松虫、鈴虫の石塔などが残されている。