伊賀上野城は、津藩（藤堂藩）の居城のひとつである。津藩には、津城と伊賀上野城のふたつの居城がある。津藩は32万石という大きな領地があり、かつ、律令体制の「国」を主にふたつもっていることから（伊勢国・伊賀国）、例外的に、複数の居城をもつことになった。また、伊賀国は、軍事的に上方への押さえの機能もあり、伊賀上野城はその拠点ともなった。
なお、藤堂家入封以前の筒井家支配の時期は、城下町は北向きに造られていた。津藩時代の城下町は南向きに造られた。
伊賀上野城の中心部には、天守台や藩主が来国した際の御殿のほか、城代家老藤堂采女家の屋敷などがある。天守台には、江戸時代初期、天守が建てられようとしたが、完成する前に崩落し、江戸時代を通じて、天守が聳え立つことはなかった。現在の天守は、昭和10年（1935）、川崎克が私財を投じて建設したもので、正式名称を「伊賀文化産業城」という。
さて、城下町含めた伊賀上野城全体をみてみよう。堀は、天守台をめぐる堀のほか、その周囲の高級武家の屋敷を囲繞する堀などがあり、後者の堀は、現在は埋め立てられている（名残りで、すこし土地が低くなっているところがある）。その外側にも、堀を開削する計画もあったが、実現することはなかった。
大手門は東大手門と西大手門のふたつがあり、城の東側には、城の防御のためであろう、大きい寺院が集まった寺町がある。最初、その寺町が城下町の東の果てであった。しかし、江戸時代中期以降、「農人町」という形で、東にも都市域が広がっていった。
