Prima di diplomarsi alla Neighborhood Playhouse di New York, studiò alla Lorne Greene Academy of Radio Arts di Toronto. Nell’arco della sua carriera, Nielsen è apparso in oltre 100 film e 1500 programmi televisivi, impersonando più di 220 personaggi. Fece il suo debutto in televisione nel 1948, ma nei due anni successivi aveva già alle spalle oltre cinquanta comparsate. Il suo esordio cinematografico ne Il pianeta proibito risale al 1956, e in seguito recitò in diversi film drammatici, western e romantici. Le sue interpretazioni da protagonista ne Il pianeta proibito (1956) e ne L’avventura del Poseidon (1972) ottennero un grande successo. È conosciuto soprattutto per i suoi ruoli comici in L’aereo più pazzo del mondo (1980) e nella trilogia di Una pallottola spuntata (1988-1994), basata sulla serie televisiva Quelli della pallottola spuntata del 1982, nella quale era tra i protagonisti. La rappresentazione di personaggi seri in apparenza ignari (e di conseguenza complici) dell’assurdità delle situazioni in cui sono coinvolti gli diedero una reputazione di comico. Nell’ultimo ventennio della sua carriera, comparve in molti film comici e parodie, molti dei quali accolti freddamente dai critici, ma con un buon successo di pubblico. In carriera ottenne diversi premi, assieme all’inserimento nella Hollywood Walk of Fame e nella Canada’s Walk of Fame. Nielsen si sposò quattro volte ed ebbe due figlie dal suo secondo matrimonio.