大垣城は、1500年（明応9年）に竹腰尚綱によって揖斐川（牛屋川）東河岸にあった牛屋に築かれたと伝わり、当時は、牛屋城と呼ばれていたとされる。
織田氏、斎藤氏、織田氏と支配権が移り、1588年（天正16年）、若しくは 1596年（慶長元年）頃、改築が行われ天守が築かれたとされる。
1600年（慶長5年）の関ヶ原の戦いの際には、当時城主であった伊藤盛宗は西軍に属したため、石田三成らが入城して西軍の根拠地となる。
関ヶ原の本戦で西軍が敗北すると東軍に攻囲され落城し、そのときの逸話が『おあむ物語』として残っている。
江戸時代に入り、譜代大名として石川康通が城主となり、その後1635年（寛永12年）に戸田氏鉄が城主となって以降、明治に至るまで大垣藩、戸田氏の居城となる。
明治２９年(１８９６年)７月２１日の洪水で、木曽三川沿岸で堤防破堤が生じなかったのは、加納輪中・森部輪中・牧輪中の三輪中のみで、最大の湛水深さは１４尺（４．２ｍ）に及び、大垣城天守の石垣も水没した。
おくの細道むすびの地
芭蕉は元禄２年９月６日、大垣で「おくの細道」を結ぶ。
木因亭前で乗船、如行始め大垣俳人に送られ「蛤のふたみに別れ行く秋ぞ」の句をのこした。
元禄7年10月、「病中吟」と称して、「旅に病んで夢は枯野をかけ廻る」
この句が事実上最後の俳諧となる。
夜ごとの夢・・・水の都、大垣