上野公園にあった寺院で、伊賀衆の結集の場であったと伝えられています。記録によっては「平楽寺城」と書かれたものもあり、城としての機能も兼ね備えていたと考えられています。上野公園内に点在する五輪塔や石仏は、ここが寺院であったころの面影を偲ばせています。