Smith családi életéről régóta tart már a történelmi vita, de a mormonok - akiknek hivatalos neve az Utolsó Napok Szentjeinek Jézus Krisztus Egyháza - mindeddig kitartottak amellett, hogy prófétájuk egyetlen asszonnyal, Emmával élt boldog házasságban. Az egyház most elismerte, hogy "óvatos becslések szerint 30 és 40 között" lehetett az egyházalapító felségeinek száma.A mormon egyház az amerikai kormány nyomására 1890-ben szakított a poligámiával. A többnejűséget börtönnel és vagyonelkobzással büntették a 19. századi Egyesült Államokban.
A interneten is közzétett egyházi értekezés szerint Smith nem akart több feleséget, de feladta ezt az álláspontját, miután állítása szerint 1834 és 1842 között három ízben jelent meg neki egy angyal. Ő az egyház szerint utoljára kivont karddal jelent meg a próféta előtt és pusztulással fenyegette meg, ha nem veti alá magát maradéktalanul a parancsolatnak.
A tanulmány rámutatott, hogy Smith a mormonok mozgalmában az olyan bibliai próféták "ősi elveinek" helyreállítását látta, mint Ábrahám, akinek több neje volt.
Smith ugyanakkor az egyház szerint nem feltétlenül létesített szexuális kapcsolatot az összes feleségével, mert a házasságkötései közül több "az örökkévalóságnak szóló frigy" volt, egyfajta tartalék a túlvilág számára.
Joseph Smith második felesége Fanny Alger volt, akiktől azonban később különvált. Volt olyan időszak, amikor Emma Smith - akinek nem volt tudomása arról, hogy hitvese összesen hány nőt is vezetett oltár elé - négy asszonytársát volt kénytelen eltűrni a házban.