Будівництво почалося, коли в жовтні 1792 року було закладено перший наріжний камінь. Хоча будівництвом будинку керував президент Вашингтон, він ніколи в ньому не жив. Лише у 1800 році, коли Білий дім був майже завершений, його перші мешканці, президент Джон Адамс і його дружина Ебігейл, переїхали сюди.
Раннє використання, спалення 1814 року та реконструкція У суботу, 1 листопада 1800 року, Джон Адамс став першим президентом, який оселився в будівлі. Наступного дня він написав своїй дружині Ебіґейл: «Я молюся, щоб Небо дарувало найкращі благословення цьому дому та всьому, що населятиме його.
Тим не менш, Адамс набрав лише на кілька голосів менше, ніж Джефферсон, який став президентом. 1 листопада 1800 року, безпосередньо перед виборами, Адамс прибув до нової столиці, щоб оселитися в Білому домі.
Кожен президент, починаючи з Джона Адамса, займав Білий дім, і історія цієї будівлі виходить далеко за рамки будівництва його стін.
Естер, друга дочка президента Гровера Клівленда, була першою і єдиною дитиною президента, яка народилася в Білому домі. Білий дім служить домом для президента та його родини з листопада 1800 року, коли президент Джон та Ебігейл Адамс стали першими мешканцями особняка.
Хоча президент Вашингтон керував будівництвом будинку, він ніколи в ньому не жив. Лише у 1800 році, коли Білий дім був майже завершений, його перші мешканці, президент Джон Адамс і його дружина Ебігейл, переїхали туди. З того часу кожен президент вносив власні зміни та доповнення.