In den ersten Jahrzehnten des 19. Jh. wuchs New Yorks Bevölkerung rapide. Die meisten Menschen lebten auf engem Raum, und auf den Straßen war es laut, hektisch und schmutzig. Friedhöfe waren eine der wenigen Plätze, um etwas Ruhe im Grünen zu finden. Die Metropole brauchte dringend einen richtigen Park.
1853 entschied die Stadt auf 320 Hektar Land, begrenzt von der heutigen 5th Avenue, der 8th Avenue (heute Central Park West) der 59th und 106th Street einen großen Park anzulegen. Die Pläne entwarfen die renommierten Landschaftsarchitekten Frederick Law Olmstead und Calvert Vaux.
Das Areal war zum Großteil leer, aber es gab ein paar Ansiedlungen. Eine davon war Seneca Village, ein Dorf von etwa 2 Hektar Größe in der Nähe des heutigen Parkeingangs an der West 85th Street. Die 1825 gegründete Ansiedlung war die erste Gemeinde in New York, die zum Großteil aus ‘Free Blacks’ bestand, Schwarze, die keine Sklaven waren. Innerhalb von circa dreißig Jahren brachte es das Dorf auf eine Einwohnerzahl von ungefähr 350. Es gab drei Kirchen, zwei Schulen und zwei Friedhöfe. Neben den Afro-Amerikanern lebten auch einige irische und deutsche Einwanderer hier.
Seneca Village stand den Plänen für den neuen Park im Weg und die Stimmung in der Öffentlichkeit und den Zeitungen richtete sich immer mehr gegen den Ort und seine Bewohner. Das Dorf wurde als Barackensiedlung und Slum heruntergemacht, in denen Vagabunden und Halunken hausten. 1857 bekam die Stadt das Recht zugesprochen, die Besitzer zum ‘Wohl der Allgemeinheit’ zum Verkauf zu zwingen (siehe Verkündung unten). und Seneca Village wurde niedergerissen. Zwei Jahre später öffnete der Central Park.