Novo groblje je, na mestu na kojem se i danas nalazi, prvi put ubeleženo na planu Beograda iz 1884. godine. Pravila za službu na novom gradskom groblju usvojena su 1885, a uredjenje je završeno 16. avgusta 1886. godine. Sa sahranjivanjem se otpočelo već sutradan. Tako je Novo groblje postalo i prvi planski regulisan prostor te vrste u Beogradu. Početak njegovog funkcionisanja označava veliku prekretnicu u savremenom komunalnom uredjenju i životu grada. Nastalo kao potreba grada i gradjanstva za uredjenim i higijenskim prostorom za sahranjivanje, groblje je imalo pravougaoni oblik s jasno omedjenim parcelama. „Na planu grada iz 1910. godine, jasno se uočava da je prostor groblja geometrijski isparcelisan sa tri uzdužne staze, koje presecaju dvanaest poprečnih staza. Tako definisan prostor, oblikuje trinaest parcela. U skladu sa modernim potrebama groblje je dobilo kapelu, objekat za potrebe održavanja groblja u okviru kojeg je bila i prostorija za ispraćaj, kao i prostor za vršenje sekcija. Nalazila se desno od današnjeg glavnog ulaza u groblje. Na groblju su ustanovljene četiri vrste porodičnih grobnica, za dvanaest, osam, šest i četiri kovčega, odnosno grobnice prvog, drugog, trećeg i četvrtog reda. Takodje, u skladu sa evropskim standardima, groblje je moralo da ima i zelene površine u okviru kompleksa.

Samo sedam godina od osnivanja Novog groblja podignuta je,po projektu arhitekte Svetozara Ivačkovića, grobljanska crkva posvećena Svetom Nikoli. Ktitori crkve, sagradjene u tradiciji srpske srednjovekovne arhitekture, bili su Draginja i Stanojlo Petrović. Novo groblje formirano je kao srpsko pravoslavno groblje i u periodu do Prvog svetskog rata nije imalo parcele za druge konfesije. Izmedju dva svetska rata, dodeljivanjem posebnih parcela, bilo je rešeno sahranjivanje gradjana ostalih veroispovesti: katolika, protestanata, Jevreja, muslimana… Takodje, Rusima koji su došli u Srbiju nakon Oktobarske revolucije dodeljene su posebne parcele.

Medjutim, nikada nije postojala stroga podela medju pripadnicima različitih konfesija i naroda. Sahranjivanje je vršeno u drugim parcelama i u vreme kada te posebne parcele nisu bile popunjene. U istom periodu formirana su i vojnička saveznička groblja: englesko, francusko, italijansko. Takodje, formirano je i austrougarsko vojničko groblje. Tokom 1931. godine, po projektu arhitekte Rajka Tatića, otpočelo je zidanje ograde oko Novog groblja. Najpre su izgradjeni portal i deo ograde ispred Francuskog vojnog groblja, ali nažalost projekat nije realizovan u celini. Po projektu istog arhitekte, 1935. godine izgradjena je kapela za ispraćaj opremljena po najvišim standardima za takve objekte. U produžetku, levo od glavnog ulaza, 1937. godine sagradjena je kapela za ispraćaj aškenaskih Jevreja, za čije je sahranjivanje odredjena i posebna parcela. Posle Drugog svetskog rata, nastale su još dve celine: Spomen-groblje borcima u okupiranom Beogradu iz 1959. godine, autora arhitekte Bogdana Bogdanovića i arhitekte Svetislava Ličine, i Groblje zaslužnih gradjana iz 1965. godine, rad arhitekte Svetislava Ličine. Nakon osnivanja krematorijuma 1965. godine, u skladu s novim načinom sahranjivanja, na Novom groblju se podižu kolumbarijumi i rozarijumi, ali i posebna celina Vrt sećanja. Ova parkovska površina s ružičnjakom, po kojoj se posipa pepeo zemnih ostataka, uredjena je prema projektu arhitekte M. Momčilovića.

Od osnivanja krajem devetnaestog veka do danas, na Novom groblju neprekidno su se taložile mnoge vrednosti i znamenitosti, generacije Beogradjana su ovde sahranjivane, a medju njima i brojne znamenite ličnosti iz svih oblasti života. Zbog gotovo nemerljivih sveukupnih vrednosti, Novo groblje u Beogradu ima status kulturnog dobra od velikog značaja za Republiku Srbiju.