吉田大橋は東海道では数少ない大きな橋で、川に面した城郭と橋を同時に描くことができる吉田城は、東海道でも屈指の景観として多くの絵師に描かれた。歌川広重の『東海道五十三次』の中で、橋と城が同時に描かれているのは、吉田と岡崎だけである。
戦国時代、16世紀初頭にその前身が築城された。三河支配の重要拠点の1つとして機能し、江戸時代には吉田藩の政庁としての役割を果たした。築城当初、今橋城と呼ばれ、明治維新後、吉田から豊橋の改名に伴い豊橋城とも呼ばれた。
今川義元は駿河から城代を派遣し、支配力を強化する。東三河の国衆にも城代を補佐させて統治協力を強いたが、義元が桶狭間の戦いで討たれると支配力は低下し、永禄8年（1565年）、今川氏を離反した松平家康によって攻略され、今川氏は三河支配権を喪失する。天正18年（1590年）、豊臣秀吉により家康が関東に移封されると、池田輝政が東三河4郡を統べる15万2千石の城主となった。
本丸、二之丸、三之丸。総構えを含めた敷地は、名古屋城などよりも広大で、「加賀百万石」の金沢城（城域面積約30万㎡）に対して、15万2千石の吉田城は約84万㎡であった。1954年（昭和29年）、本丸北西の鉄（くろがね）櫓址に櫓が模擬再建され、公園化された本丸から三の丸には石垣、土塁、堀が残る。本丸石垣は池田輝政時代の石垣であることが判明している。