Але у Фрейзера є свої причини; проблеми з його власним здоров'ям і його матір'ю, яка з тих пір померла, особисті проблеми і бути об'єктом сексуальних домагань були названі як причини, через які він пішов і залишився подалі. Подорож, від якої, судячи з його останнього виступу, він, здається, успішно оговтався.
За цей час у Фрейзера було численні операції, включаючи ламінектомію, операцію на поперековому відділі, часткову заміну колінного суглоба та відновлення голосових зв’язок. Згідно з GQ, «Загалом, каже Фрейзер, він був у лікарні та виходив із неї майже сім років».
Його трьох синів звуть Гріффін Артур Фрейзер, 2002 року народження, Холден Флетчер Фрейзер, 2004 року народження, і Ліланд Френсіс Фрейзер, 2006 року народження.. Холден і Леланд – фотомоделі, які підписали контракт з Marilyn Agency. У 2018 році в інтерв’ю GQ Фрейзер розповів, що його старший син має аутизм.
Брендан ФрейзерАфтон Сміт / дружина (м. 1998–2009)
Наприкінці 90-х і на початку нульових Брендан вразив натовпи хітами, такими як «Мумія» та «Джордж із джунглів». Але незабаром він виявив, що робота закінчилася, і він виявив, що потрапив у «чорний список» Голлівуду. Передбачуване уникання прийшло пізніше він сміливо відкрив заяву про зловживання в минулому.