Jim Downer nasceu na Ilha de Wight (Inglaterra). Morou lá até que sua família se mudou para Leeds em 1935, onde cursou pintura no Leeds College of Art. Depois de ganhar uma bolsa de estudo na Itália, mudou-se para a Rugby Street em Londres, onde viria a conhecer o poeta
Ted Hughes.
Casou-se com Wendy Barbara Craft, editora de cinema que trabalhava com Jacques Tati, em 1960. Com ela, por 29 anos, entre 1969 e 98, velejou pelos mares europeus e atlânticos em seu barco de 32 pés. Jim trabalhou como designer para a BBC, Dunlop e depois em seu estúdio particular até 2001, produzindo marcas, showrooms, estandes e exposições.