O templo pertence ao ramo Myoshinji da escola Rinzai e diz-se ter sido fundado no período Ashikaga.

Nos recintos do templo, encontram-se as sepulturas de Shimizu Jirocho, o “rufia do Tokaido”, os seus ajudantes Omasa, Komasa e Masukawa Sen'emon, e a sua esposa Ocho, a quem ele amou toda a vida.

A inscrição “Túmulo do kyokaku Jirocho” foi escrita por Takeaki Enomoto, antigo vassalo do xogunato que serviu como Ministro das Comunicações no governo Meiji.

Ele é a única pessoa cavalheiresca no Japão a ter uma estátua de bronze em reconhecimento do trabalho da sua vida. A primeira estátua foi retirada durante a Guerra do Pacífico e a actual foi feita por Tatsuo Tsutsumi em 1952.

A parede de pedra atrás da estátua representa o Castelo de Sunpu e o lago em frente representa a Baía de Suruga, o que mostra o espírito de Jirocho de criar raízes na sua cidade natal, Shimizu.

No Museu Jirocho estão expostas relíquias como uma bola de cristal oferecida por Katsuzo de Kurokoma, uma espada de viagem (dochuzashi) com amuleto de Bishamonten, um relógio, um telescópio e um arcabuz.

O templo foi fundado no primeiro ano da era Meiō (1492, período Ashikaga) pelo monge Tenrin Domyo, discípulo do monge Tokoku.

O templo recebeu o primeiro nome de Baiin-an e, durante a era Eiroku, tornou-se terra de selo vermelho (goshuinchi) da família Takeda, cujos documentos antigos ainda hoje se conservam. O nome foi mais tarde alterado para Templo Baiinji.

Durante a era Keicho, o templo foi atingido por um incêndio que destruiu os salões e tesouros. O templo foi mais tarde reconstruído, mas o Grande Terramoto de Ansei destruiu todos os edifícios.
No 36º ano de Meiji (1903), o actual salão principal foi reconstruído pelo 14º monge, Mangyu. (A partir de materiais para visitantes gerais)