Дед поэта по материнской линии, Михаил Васильевич Арсеньев, отставной гвардии поручик, женился в конце 1794 года в Москве на Елизавете Алексеевне Столыпиной, после чего купил «почти за бесценок» у графа Нарышкина в Чембарском уезде Пензенской губернии село Тарханы, где и поселился со своей женой. Село Тарханы было основано в XVIII веке Нарышкиным, который поселил там своих крепостных из московских и владимирских вотчин из числа отчаянных воров, головорезов и раскольников.

Михаил Васильевич Арсеньев «был среднего роста, красавец, статный собой, крепкого телосложения; он происходил из хорошей старинной дворянской фамилии». Любил развлечения: выписал себе в имение из Москвы карлика, был страстным театралом, создал в Тарханах самодеятельный театр, в котором пьесы разыгрывались "господами, некоторые роли исполнились актерами из крепостных».