O templo pertence à seita Myoshinji do templo Rinzai e diz-se ter sido fundado no período Ashikaga.

Nos recintos do templo, encontram-se as sepulturas de Jirocho Kiyomizu, o “rufia do Tokaido”, os seus ajudantes Oomasa, Komasa e Sen’emon Masukawa, e a sua esposa Ocho, a quem ele amou toda a vida.

O “Túmulo de Jirocho, o Cavaleiro” foi escrito por Takeyoshi Enomoto, que serviu como Ministro dos Correios e Telecomunicações no governo Meiji.

Ele é a única pessoa cavalheiresca no Japão a ter uma estátua de bronze em reconhecimento do trabalho da sua vida. A primeira estátua foi retirada durante a Guerra do Pacífico e a actual foi feita por Tatsuo Tsutsumi em 1952.

A parede de pedra atrás da estátua representa o Castelo de Sunpu e o lago em frente representa a Baía de Suruga, o que mostra o espírito de Jirocho de criar raízes na sua cidade natal, Shimizu.

No Museu Jirocho, pode-se ver uma bola de cristal, uma Bishamonten Michizane, um relógio, um telescópio, uma espingarda flintlock e outras relíquias apresentadas por Katsuzo de Kurokoma.

O templo foi fundado no primeiro ano do período Ashikaga (o primeiro ano da era Meiji) pelo monge Tenryun Domyo da classe dos monges Tohya.

O templo recebeu o primeiro nome de Umekagean e tornou-se o local do selo vermelho da família Takeda durante a era Eiroku. O nome foi mais tarde alterado para Templo Baikinji.

Durante a era Keigo, o templo foi atingido por um incêndio que destruiu os salões e tesouros. O templo foi mais tarde reconstruído, mas o Grande Terramoto de Ansei destruiu todos os edifícios.
No 36º ano de Meiji (1903), o actual salão principal foi reconstruído pelo 14º monge, Mangyu. (A partir de materiais para visitantes gerais)