"С этого момента. Я не спал ни днем, ни ночью", пишет он в своем письме от 1897 года. Строительство он начал в 1879 году и закончил в 1912 году. На дворец потратили более 10 тысяч дней, 93 тысячи часов и в общей сложности 33 года. На именно такой дизайн его вдохновили разные источники – Библия, Нойшванштайн (замок в Баварии) и замки из песка.
Разнося почту, он ежедневно проделывал путь в 25 км, складывая в тачку камни необычной природной формы. Из них в свободное от работы время, днем и ночью, в любую погоду, при помощи самых незатейливых инструментов он воплощал в жизнь свою мечту – превосходящий всякое воображение дворец. Закончив свой тридцатилетний труд, он начертал над входом: "Plus opiniâtre que moi se mettre à l'oeuvre" ("Пусть теперь за работу принимается более упорный, чем я"). Он хотел быть похороненным в замке своей жизни, но получил отказ от местных властей.
Дворец обычного сельского почтальона, построенный только на любви и желании, благодаря известным всему миру сюрреалистам получил название "Идеальный дворец почтальона Шеваля". В 1969 году "Идеальный дворец" официально признан правительством Шарля де Голля памятником истории и культуры. Влияние творения простого почтальона прослеживается в скульптурах Робера Татена и Ники де Сен-Фалль.