Fischer József 1901-ben született Budapesten kispolgári családban. Építőipari felsőiskolában kezdett építészetet tanulni. Részt vett az őszirózsás forradalomban, majd a Tanácsköztársaság alatt belépett a Vörös Hadseregbe. A Tanácsköztársaság bukása után felvételt nyert az Iparművészeti Főiskolára, amit azonban anyagi gondok miatt nem fejezett be. Kezdetben a Ligeti Miklós-féle kerámiaműhelyben vázafestő, majd egy év múlva műszaki rajzoló. Másfél év után elbocsátották, ekkor egy magánépítésznél dolgozott előbb építésvezetőként, majd tervezőként. 1926 tavaszán építőmesteri képesítést szerzett, és néhány év múlva feleségével közös építészvállalkozásba kezdett. 1932-ben ő szervezte a modern építészet kiállítását a Margitszigeten, ahol kapcsolatba került a Magyar Szociáldemokrata Párt néhány tagjával, pl. Peyer Károllyal. Szociáldemokrata kapcsolatai miatt vádat emeltek ellene, és osztályellenes izgatásért egy hónapi felfüggesztett börtönbüntetéssel sújtották. Kiszabadulása után továbbra is fenntartotta szociáldemokrata kapcsolatait, jelölték az 1939-es parlamenti választásokon. Ugyanebben az időben megválasztották a Magyar Szociáldemokrata Párt kezdeményezésére létrejött építészcsoport elnökének. A Tér és Forma című modern építészeti újság szerkesztője. 1940 januárjában sorkatonai szolgálatra hívták be. 1943-ban SAS-behívót kapott, és a csepeli repülőtérre, majd egy dunántúli őrsre osztották be. A német megszállás után embereket bújtatott a lakásán, hamis papírokat szerzett nekik. 1944 novemberében dezertált, és ettől fogva családjával maga is bujkált. 1945 januárjától újjáépítési kormánybiztos, majd 1948-ig a Budapesti Közmunkák Tanácsának elnöke. Próbált külföldre távozni, de sikertelenül. Rövid ideig egy tervezővállalatnál dolgozott, majd műszaki ellenőr lett egy beruházó vállalatnál. A cég megszűnése után a Budapesti Városépítési Tervező Vállalat tatarozó részlegének csoportfőnöke lett. Ebben a beosztásban maradt 1956-ig. A forradalom kirobbanása után lakása a volt szociáldemokrata politikusok találkozóhelye lett, majd a Szociáldemokrata Párt újjáalakulásakor beválasztották a párt vezetőségébe. November 2-tól a harmadik Nagy Imre-kormány államminisztere. A forradalom leverése után néhány napig bujkált, majd visszatért csoportfőnöki beosztásába. 1959-ben elbocsátották addigi állásából, ezután kivándorlási kérelmet nyújtott be, de hét és fél évig várt az útlevélre. 1965-ben az Amerikai Egyesült Államokba emigrált. 1969-ben megkapta az amerikai állampolgárságot, több tervezőcégnél dolgozott, és tagja lett a Modern Építészet Nemzetközi Kongresszusa (CIAM) magyar csoportjának. 1978-ban véglegesen hazatért, de ettől kezdve már nem végzett szakmai tevékenységet. 1995-ben halt meg.