1931 год стал особенно трагичным для Виктора Астафьева: погибла его мать, а отца осудили на пять лет, признали врагом народа и отправили в Карелию
— на строительство Беломорканала. Мальчик остался на попечении бабушки. Этот период его жизни лег в основу сборника «Последний поклон» и рассказов «Фотография, на которой меня нет» и «Конь с розовой гривой».
Осенью 1934 года отец Виктора Астафьева вернулся в Овсянку. На стройке Беломорканала его признали ударником пятилетки и освободили досрочно. Вскоре Петр Астафьев женился второй раз, на Таисии Черкасовой, и вместе с ней и сыном перебрался в небольшой город Игарка.
О жизни в Игарке Астафьев вспоминал с горечью и болью: отец и мачеха мало интересовались им, и вскоре новая семья буквально выставила мальчика на улицу — он оказался в детском доме.
«Беспризорничество. Сиротство. Детдом-интернат. Все это пережито в Игарке. Но ведь были и книги, и песни, и походы на лыжах, и детское веселье, первые просветленные слезы», — вспоминал он об этом времени.
Игнатий Рождественский, преподаватель русского языка и литературы в детском доме, стал его другом на долгие годы: писатель уважал его за
«требовательность и человеческое внимание». Другим наставником Астафьева был директор детского дома Василий Соколов. И Рождественский, и Соколов заметили, что мальчику легко даются литература и русский язык, и советовали ему подумать о писательской карьере.
В 1941 году Виктору Астафьеву исполнилось 17 лет, и по закону он больше не мог оставаться в детдоме. К этому моменту он закончил только шесть классов — его несколько раз оставляли на второй год из-за проблем с арифметикой.
«Я должен был начинать самостоятельную жизнь, кормить и одевать сам себя, думать о дальнейшей судьбе», — писал он. Мечты о высшем образовании он отложил: на учебу не хватало денег. Астафьев пошел работать на завод коновозчиком, затем поступил в железнодорожную школу.