Plzeňský rodák Černý studoval v Praze architekturu. Už jako osmnáctiletý na prázdninách v Bechyni si zahrál roličku ve snímku s Lídou Baarovou a Svatoplukem Benešem, který se zde točil. Film ho hned okouzlil, poté asistoval u děl Kočka nebo Řeka čaruje.
Jako samostatný architekt se poprvé podílel na filmu o Emilu Zátopkovi, několikrát se při práci sešel s Karlem Kachyňou včetně Krále Šumavy, v roce 1953 natočil s Karlem Zemanem trikovou Cestu do pravěku.
Měl za sebou devadesátku filmů a nespočet televizních prací včetně seriálu Hříšní lidé města pražského. Rozhodující však pro něj byl rok 1963, kdy se Černý poznal s Formanem a od Černého Petra se podílel na všech režisérových tuzemských filmech.
Proto jej Forman přizval i k americkému Amadeovi, stejně jako kostýmního výtvarníka Theodora Pištěka a kameramana Miroslava Ondříčka, jediného ze čtveřice, kdo nakonec zůstal bez oscarové sošky. "Zasloužil si ji," opakoval vždy Černý.
Kvůli Amadeovi se v Praze nákladně upravovaly interiéry historických budov. V roce 1985 se tedy Černý zúčastnil oscarového ceremoniálu. Měl pocit, že byl pozván jen formálně, ale nakonec to byl Amadeus, který získal osm prestižních sošek, z nichž jedna patřila právě jemu.
V roce 2013 dostal Českého lva za mimořádný přínos tuzemské kinematografii.