武蔵野台地の斜面と低地という地形を活かし、北側の小高い丘には洋館を建て、斜面には洋風庭園、そして低地には日本庭園を配したのが特徴。 この庭園はもと明治の元勲・陸奥宗光の邸宅だったが、次男が古河家の養子になった時に古河家の所有となる。尚、この当時の建物は現存していない。
現在の洋館と洋風庭園の設計者は、英国人ジョサイア・コンドル博士（1852〜1920）。現在の洋館は 博士の最晩年の作で、大正6年5月に竣工。躯体は煉瓦造、外壁は真鶴産の新小松石（安山岩）の野面積で覆われ、屋根は天然ストレート葺き、地上2階・地下１階となっている。
博士は当園以外にも、旧岩崎邸庭園洋館、鹿鳴館、ニコライ堂などを設計している。日本庭園の作庭者は、山県有朋の京都別邸である無鄰菴、平安神宮神苑、円山公園、南禅寺界隈の財界人の別荘庭園などを作庭し、造園界に多大な貢献をした京都の庭師植治こと小川治兵衛（1860〜1933）。