Роберт Дауни младший с женой Сьюзан — счастливые родители первенца, Экстона Элиаса Дауни. Малыш родился 7 февраля 2012 года. У Роберта есть взрослый сын Индио, которому 18 лет, от предыдущего брака. А со своей второй женой, продюсером Сьюзан Левин, актер познакомился на съемках триллера «Готика», они поженились в 2005 году.
Дауни младший в настоящее время занят промо-работой фильма «Мстители», и будучи в гостях программы телеведущего Джея Лено, показал снимки своего новорожденного сына.