Неожиданно рано у Ивана пробудилась страсть к книгам. Приохотил его дворовый человек, Леон Серебряков, судьба которого сложилась потом драматически. Имея независимый характер, Леон чем-то не угодил Варваре Петровне, сказал дерзость, и был в наказание сдан в солдаты. В те годы ему исполнилось всего 19 лет. Леон неплохо обучен грамоте, даже сочинял стихи.

Серебряковы - пашенные крестьяне села Спасского. В состав дворни первым из их семьи взят Николай Яковлевич Серебряков, старший брат Леона. Его сделали главным конторщиком у Тургеневых. Постепенно тот приспособил к "письменному" делу младшего, обучил его. Николай Серебряков не утратил доверия господ, несмотря на историю с Леоном. Дети Николая тоже все были грамотными и служили господам в разном качестве. В мезонине большого спасского дома стояли старинные шкафы. Книги брали оттуда тайком. Заводилой всему являлся не барчук, а Леон. Особенно сильное впечатление произвела на Ивана претолстая "Книга эмблем". На каждой ее странице рисунки, заключавшие в себе символы, а рядом - изъяснения на разных языках, что таковые знаки обозначают.

Серебряков, кроме того, особенно любил "Россияду" М. М.Хераскова, героическую поэму из времен Ивана Грозного. Леон артистически декламировал ее маленькому Ивану. "Мы уходили каждый день в сад, в беседку на берегу пруда и там читали - и как читали! или правильнее: он читал - и как читал! Сперва каждый стих скороговоркой, так себе - начерно; потом с ударением, с напряжением и чувством - набело".