虎の門の三井ビルから、霞ヶ関ビルや霞ヶ関コモンゲートの方向に、外堀通りをまたぐ歩道橋がある。その階段を登る途中、右手に見える石垣は、【国史跡 江戸城外堀跡 溜池櫓台】で、1636年に建造された外堀の櫓台で、江戸城外堀は、虎ノ門交差点付近の「虎御門」から、文部科学省に現存する３地点の石垣を通過し、この櫓台石垣に至った。江戸城外堀は、江戸城内郭と城下を取り巻くように造られた延長約14kmの濠で、そのうち4kmが史跡指定される。神田川や日本橋川も外堀の一部で、外堀より細くなっている。
港区が誕生した1947年には、旧赤坂区の町名には、一部例外を除き、「赤坂」を冠する町名変更が行われた（例: 一ツ木町→赤坂一ツ木町、青山権田原町→赤坂青山権田原町、など。この「赤坂」を冠する町名は、住居表示実施まで続く。
旧町名、港区発足直前の町名。
葵町（赤坂葵町）
青山権田原町（赤坂青山権田原町）
青山六軒町（赤坂青山六軒町）
一ツ木町（赤坂一ツ木町）
榎坂町（赤坂榎坂町）
表町（赤坂表町）
新町（赤坂新町）
新坂町（赤坂新坂町）
台町（赤坂台町）
田町（赤坂田町）
溜池町（赤坂溜池町）
丹後町（赤坂丹後町）
伝馬町（赤坂伝馬町）
中ノ町（赤坂中ノ町）
氷川町（赤坂氷川町）
桧町（赤坂桧町）
福吉町（赤坂福吉町）
元赤坂町
霊南坂町（赤坂霊南坂町）
溜池町
虎ノ門の石垣から西北へ、赤坂見附まで広がっていた大きな堀であった溜池。溜池はその名のとおり、人が水を溜めてつくった。以前、名残の暗渠をのぞくと水流が見える仕掛けが山王神社の下の鳥居のそばにあったが、今はそれもなくなった。池の跡にできた「溜池町」という町名も、住居表示としてはなくなった、高速道路の下の交差点名と、バス停の名前に残る。
大名の浅野幸長（当時和歌山藩のち広島藩主）が家康にとりいって、江戸城防備の外堀の一環とするとともに、飲料用の上水ダムとしてつくった人口の湖で、今の不忍池以上の大きさがあったようだ。溜池は、水質もよく、風景も美しく、浮世絵などによく描かれる。元々水の湧く所であり、堤を作り水を溜めるようにしたためこの名があり、神田上水、玉川上水が整備されるまでは、この溜池の水を上水として利用していた。
琵琶湖や淀川から、鯉や鮒を取り寄せて放したという話もあり、蓮を植えてその花を鑑賞し蓮根を採取したと伝わる。やがて、周囲がだんだん埋め立てられ、町屋や馬場・紺屋物干場などができ、水質も悪くなった。明治7、8年ごろ、堰堤となっていた石を取り除いてから陸化しはじめ、渡し舟ができ橋をかけて、明治21年に赤坂溜池町ができた。1966年の住居表示実施に伴う町丁名変更により赤坂一丁目と赤坂二丁目が誕生し、溜池町は消滅。今日、溜池交差点や東京地下鉄溜池山王駅、都営バス（都01）溜池停留所などに名を残している
一ツ木町
江戸時代以前からの地名、人継、であったが、1966年の住居表示実施に伴う町名変更により、赤坂四丁目と赤坂五丁目が誕生して、一ツ木町は消滅した。今では、一ツ木通りとして名を残す、江戸時代には町奉行を務めた大岡忠相の屋敷があったと言う。東京メトロ千代田線、赤坂駅前は、TBSの本社があり、付近には著名企業の本社などが立ち並ぶ。東京メトロ銀座線、丸ノ内線の赤坂見附駅周辺は、骨董品店やホテルなどが多い。高橋是清翁記念公園は、初代の赤坂区役所跡にあたる。
紀伊国坂、別名の赤坂・茜坂
紀伊国坂は、東京都港区元赤坂1丁目から、旧赤坂離宮の外囲堀端を喰違見附まで上る坂で、江戸時代に坂の西側に紀州藩上屋敷があったことから名付けられたと言う。別名の赤坂・茜坂は、茜草が生える赤根山、迎賓館付近の高台に登る坂であることから名付けられたことが、赤坂という地名の由来になっていると言う説、また、赤土が多い土壌に幾多の坂があること、という二説がある。
1567年に人継村が開拓され、江戸時代には、現在の元赤坂付近に町屋、武家屋敷が造られ、次第に市街化してゆく。明治時代に入ると、1878年の郡区町村編制法により、東京15区のひとつ、赤坂区の一部となった。多くの大名屋敷や旗本屋敷が存在した高台の地域は官吏や軍人などの家庭から成る都心部有数の邸宅街へと発展する。それらの地域以外は、庶民の住宅街、個人商店、高級料亭、旅館などが密生していった。1966年には住居表示が実施され、赤坂一丁目から赤坂九丁目、元赤坂一丁目・元赤坂二丁目が成立する。1967年には赤坂葵町が虎ノ門二丁目となる。昭和30年代初頭から昭和55年頃までの赤坂は、高級料亭、キャバレー、ナイトクラブなどが多く集まり、銀座と並ぶ高級な繁華街として栄華を極めた。
消滅した町名
港区が誕生した1947年には、旧赤坂区の町名には、一部例外を除き、「赤坂」を冠する町名変更が行われた（例: 一ツ木町→赤坂一ツ木町、青山権田原町→赤坂青山権田原町、など。この「赤坂」を冠する町名は、住居表示実施まで続く。