В произведении в форме мемуаров описываются первые десять лет жизни мальчика в 1790-х годах, проведённые в Уфе и деревнях Оренбургской губернии. Воспоминания отражают детское восприятие мира, где всё ново и одинаково важно, а события не делятся на главные и второстепенные, вследствие чего сюжет практически отсутствует. Начинается повествование с ярких, но разрозненных воспоминаний о младенчестве и раннем детстве: момент отлучения от кормилицы, тяжёлая болезнь, едва не стоившая жизни, солнечное утро облегчения, необычная бутылка с рейнвейном, сосновые висюльки в новом деревянном доме и прочее. Часто встречается образ дороги, так как путешествия считались средством оздоровления. Выздоровление Серёжи происходит после того, как во время большого путешествия ему становится особенно плохо, и родители вынуждены остановиться в лесу, где он двенадцать часов лежит в высокой траве, не в силах пошевелиться, а затем неожиданно приходит в себя. После болезни у ребёнка появляется чувство жалости ко всему страдающему. Постоянным образом в воспоминаниях является присутствие матери, которая заботилась о нём и любила его, возможно, сильнее всех остальных детей.

Последовательные воспоминания начинаются с четырёхлетнего возраста, когда семья живёт в Уфе. Болезнь сделала нервы мальчика чрезвычайно чувствительными, о чём свидетельствуют рассказы няньки: Серёжа боится мёртвецов, темноты и других страхов, которые продолжают его мучить. Его рано научили читать, хотя он и не помнит этого момента; у него была одна книга, которую он знал наизусть и ежедневно читал вслух младшей сестре. Когда сосед подарил ему «Детское чтение для сердца и разума» Новикова, мальчик настолько увлёкся книгами, что был «точно как помешанный». Особое впечатление на него произвели статьи с объяснениями природных явлений, таких как гром, снег и превращения насекомых.

Мать, измученная болезнью Серёжи и боявшаяся заразиться чахоткой, вместе с отцом отправляется в Оренбург к хорошему врачу, а детей отвозят в Багрово к родителям отца. Путешествие впечатляет мальчика: переезд через реку Белую, окаменелости и галька, большие деревья, ночёвки на поле, рыбная ловля на Деме, огонь, добытый кремнем, родники и другие мелочи вызывают у него неподдельный интерес. Отец радуется вместе с ним, тогда как мать проявляет равнодушие и даже отвращение.

Люди, встречающиеся в дороге, кажутся мальчику не только новыми, но и непонятными: ему непонятны радость крестьян, их отношения со старостой и другие бытовые детали. Видя жатву в жару, он испытывает глубокое сострадание. Патриархальный быт в Багрове не вызывает у мальчика симпатии: дом маленький и мрачный, бабушка и тётушка одеты скромно, дед суров и страшен — Серёжа становится свидетелем его приступов гнева. Однако после того, как дед замечает любовь внука не только к матери, но и к отцу, их отношения меняются. Дети невестки, презиравшей Багрово, не пользуются уважением. В этом доме, где даже кормят детей плохо, брат и сестра прожили около месяца. Серёжа развлекает сестру рассказами и чтением вслух своему любимому дяде Евсеичу. Тётушка дала ему «Сонник» и водевиль, оказавшие сильное влияние на его воображение.

Возвращение домой вызывает у мальчика чувство взрослости, так как он вновь оказывается в окружении любви. В доме гостят братья матери — военные, окончившие Московский университетский благородный пансион. От них Серёжа узнаёт о стихах, а один из дядей учит его рисовать, что кажется мальчику высшей ценностью. Сосед С. И. Аничков дарит новые книги — «Анабасис» Ксенофонта и «Детскую библиотеку» Шишкова, которую автор высоко ценит. Дяди и их приятель, адъютант Волков, играючи дразнят мальчика за незнание письма, что вызывает у него обиду и даже драку. После наказания и требования извиниться Серёжа остаётся при своём мнении, мечтает в одиночестве и заболевает от волнения и усталости. Взрослые раскаиваются, и наступает примирение.

По просьбе мальчика его начинают обучать письму, приглашая учителя из народного училища. Однажды Серёжу отправляют на урок, где грубость со стороны учителя и учеников, а также порка, пугают ребёнка.

Отец Серёжи приобретает семь тысяч десятин земли с озёрами и лесами, называя участок «Сергеевской пустошью», чем мальчик гордится. Родители планируют переезд в Сергеевку для лечения матери башкирским кумысом весной, когда сойдёт лёд на реке Белой. Серёжа с напряжением следит за ледоходом и разливом реки. В Сергеевке дом для господ ещё не достроен, но это не мешает мальчику радоваться: окон и дверей нет, но удочки уже готовы. До конца июля Серёжа, отец и дядя Евсеич рыбачат на озере Киишки, которое мальчик считает своим; впервые он видит охоту с ружьём и испытывает необычную жадность и радость. Лето омрачают редкие гости, которых мальчик избегает.

После возвращения в Уфу место кажется Серёже неприятным. Его развлекает новый подарок соседа — собрание сочинений Сумарокова и поэма «Россиада» Хераскова, которую он декламирует и дополняет выдуманными подробностями. Мать улыбается, отец обеспокоен и предостерегает мальчика от лжи. Приходят известия о смерти Екатерины II, и семья слушает разговоры взрослых о присяге Павлу Петровичу, хотя многие темы остаются непонятными.

Семья срочно отправляется в Багрово по известию о болезни дедушки. Серёжа боится встречи с умирающим и переживает, что мать заболеет или что они замёрзнут в дороге зимой. В дороге мальчик испытывает тревожные предчувствия, которые останутся с ним на всю жизнь. Дедушка умирает через сутки, дети успевают с ним проститься. Серёжа подавлен страхом и особенно поражён объяснениями няньки Параши о параличе деда, который не плачет и не кричит, лишь шевелит губами. Он ощущает «всю бесконечность муки», невысказанную окружающим.

Поведение родственников в Багрове разочаровывает мальчика: четыре тётки рыдают у ног брата, настоящего хозяина дома, бабушка уступает власть матери, что вызывает у неё отвращение. За столом все, кроме матери, плачут и едят с аппетитом. После обеда, глядя на незамерзающий Бугуруслан, Серёжа впервые осознаёт красоту зимней природы.

Вернувшись в Уфу, мальчик переживает новое потрясение: при рождении ещё одного сына мать чуть не умирает. После смерти деда отец выходит в отставку, и семья переезжает в Багрово на постоянное место жительства. Сельские работы занимают Серёжу, но он не понимает равнодушия матери и младшей сестры к ним. Добрый мальчик старается утешать быстро постаревшую бабушку, с которой ранее мало общался; однако её привычка бить слуг отталкивает его.

Родителей зовёт в гости Прасковья Куролесова, которой отец считается наследником. Её дом, богатый, но несколько аляповатый, поначалу кажется мальчику сказочным дворцом. Вдова подружилась с матерью Серёжи и не спешит отпускать семью обратно в Багрово, но суетливая жизнь в доме с постоянными гостями утомляет мальчика, и он с нетерпением ждёт возвращения домой.

Вернувшись в Багрово, Серёжа впервые в деревне внимательно наблюдает за приходом весны, обращая внимание на отдельные предметы и места в доме. Волнение вызывает у него бессонницу, и ключница Пелагея рассказывает ему сказки, в том числе «Аленький цветочек», добавленную в приложение к произведению.

Осенью по просьбе Куролесовой семья гостит в Чурасове. Отец обещал бабушке вернуться к Покрову, но вдова не даёт уехать. В ночь на Покров отец видит страшный сон и утром получает известие о болезни бабушки. Возвращение домой осложняется тяжёлой дорогой, переправой через Волгу у Симбирска, где семья чуть не тонет. Бабушка умирает в день Покрова, что сильно поражает и отца Серёжи, и Куролесову.

Зимой семья отправляется в Казань, чтобы помолиться у местных святынь; ни Серёжа, ни мать там не бывали. Предполагалось провести там около двух недель, но обстоятельства меняются, и для мальчика начинается новый этап жизни — поступление в гимназию. Так заканчиваются детские годы и начинается отрочество.