この公園のある連光寺一帯は向ノ岡と呼ばれ、明治天皇が兎狩や鮎漁に訪れた地です。明治天皇の行幸を記念して、昭和5年（1930）には現在の都立桜ヶ丘公園内に多摩聖蹟記念館が建設され、その前年に明治天皇にゆかりの深い建物として隅田川河畔の橋場（台東区）にあった対鴎荘がこの地に移築されました。
　対鴎荘は、幕末から明治の有力政治家であった三条実美が明治6年（1873）に建てた別荘で、岩倉具視から寄贈された茶室「松華洞」もありました。明治天皇は、「征韓論」をめぐる政争で病に倒れた三条実美を見舞いに橋場の対鴎荘を訪れています。昭和4年（1929）にこの地に移築された対鴎荘には、戦前に多くの観光客などが訪れましたが、戦後になると飲食店として利用され、昭和63年（1988）に土地開発のため取り壊されました。現在は復元模型が作られ、旧多摩聖蹟記念館で見ることができます。「対鴎台公園」の名称は、対鴎荘のあった高台という意味で付けられました。
　また、この公園から東側、現在の向ノ岡桜橋に向かう道路沿いには、古歌に詠まれた向ノ岡として、江戸時代の末期には桜の木が多数植えられました。大正から昭和初期にかけては、草競馬が開催されたことから「桜馬場」と呼ばれていました。付近には桜楽軒という茶屋も設けられ、戦前には花見時に都会から多くの来遊者も訪れて、大いに賑わっていました。