Das Areal auf dem der Central Park gebaut werden sollte, war zum Großteil leer, aber es gab ein paar Ansiedlungen. Eine davon war Seneca Village, die erste Gemeinde in New York, die zum Großteil aus ‘Free Blacks’ bestand. Darunter verstand man Schwarze, die keine Sklaven waren. Innerhalb von circa dreißig Jahren brachte es das Dorf auf eine Einwohnerzahl von ungefähr 350. Es gab drei Kirchen, zwei Schulen und zwei Friedhöfe. Neben den Afro-Amerikanern lebten auch einige irische und deutsche Einwanderer hier.