Лев Николаевич думал, что каменный одноэтажный дом строился Волконским для дворовых. Вероятнее, что это помещичий дом старых владельцев имения. Дом-дворец Волконский не достроил, хотя успел поставить ворота, проложить аллеи, вырыть пруды, построить оранжереи, разбить сад.

Крепостной оркестр играл по утрам в центре сада во время прогулок генерала с дочерью.

После смерти старого князя музыканты разошлись: кто снова стал садовником, кто официантом. Музыка в усадьбе замолкла.

Дом еще стоял при первых наследниках.

Потом дом продали.

Продажа старого дома произошла как будто случайно, из-за проигрыша в штосс. В дневнике 1855 года 28 января Лев Николаевич записывает: «Два дня и две ночи играл в штосс. Результат понятный — проигрыш всего яснополянского дома».

Эта случайность долго подготовлялась. Дом был не по средствам внукам Волконского, хотя Лев Николаевич не хотел продавать дома; вместо него продавал за долги наследственные деревеньки, хлеб и лошадей, лес — все время в убыток себе, выпрашивая у покупщиков деньги вперед.

Но и прижатый долгами, он писал брату Сергею Николаевичу из станицы Старогладковской 28 марта 1852 года:

«Ясенский дом — не потому, чтобы я его ценил во сколько-нибудь, но потому, что он мне дорог по воспоминаниям, — я не продам ни за что, и это — последняя вещь, с которой я решусь расстаться».

Сергей Николаевич возражал против продажи деревень, советуя продолжать продавать леса и строения. Он перечисляет:

«Чепыж, овраг Грумантский, роща за почтовым двором и круглый березник, у тебя же еще останется осинник молодой, который с нуждой, но тоже можно продать, и большой дом, к которому по твоему желанию должно приступить к последнему, но мне кажется, что если он простоит без всякого ремонта еще несколько лет (а ремонт оного довольно значительный), то он действительно будет только годен как сувенир…»