Ka’bah pada awalnya berbentuk persegi panjang dengan panjang sekitar 15 meter dan lebar sekitar 10 meter. Bangunan Ka’bah kala itu hanya berupa tumpukan batu tanpa perekat, dan di sebelahnya terdapat tempat istirahat untuk Nabi Ismail. Karena konstruksinya yang sederhana, Ka’bah mudah hancur. Tinggi aslinya sekitar 8 meter, namun seiring waktu bangunannya hampir roboh dan hanya setinggi manusia. Penduduk Mekkah ingin membangunnya kembali, tetapi mereka khawatir mendapat azab seperti yang dialami Abrahah ketika ingin menghancurkan Ka’bah. Akhirnya, pembangunan kembali Ka’bah pun dilakukan. Dari Jeddah datang kapal besar yang membawa batu dan kayu untuk pondasi Ka’bah, tetapi kapal itu mengalami musibah. Mengetahui hal tersebut, kaum Quraisy segera membeli barang-barang dari para penyintas kapal tersebut untuk digunakan membangun Ka’bah. Dalam proses pembangunannya, Ka’bah disusun seperti puzzle oleh Nabi Ibrahim agar lebih kokoh. Setelah diperbaiki, tinggi Ka’bah menjadi 15 meter dan panjangnya berubah menjadi 12 meter.
Pada saat pembangunan berlangsung, sempat terjadi perselisihan antar beberapa kabilah yang berebut kehormatan untuk meletakkan Hajar Aswad. Nabi Muhammad SAW kemudian menyelesaikan masalah itu dengan bijak: beliau meletakkan Hajar Aswad di atas kain, lalu meminta para pemimpin kabilah memegang setiap sudut kain dan mengangkatnya bersama-sama. Setelah itu, Nabi sendiri yang meletakkan Hajar Aswad ke tempatnya. Pada masa itu, banyak penduduk Mekkah yang beribadah tidak mengikuti ajaran Nabi Ibrahim. Rasulullah pun sering mengasingkan diri ke Gua Hira yang cukup luas di dalamnya, untuk beribadah dan merenung. Salah satu orang yang paling mendukungnya adalah Khadijah. Menurut sebuah riwayat, Rasulullah sering mendengar suara aneh dalam perjalanannya, yakni suara yang mengucapkan, “Assalamu’alaika ya Rasul,” setiap kali beliau melewati suatu tempat. Setelah kejadian tersebut, beliau kembali ke rumah dan masa kenabiannya pun dimulai.
Khadijah yang masih memegang ajaran Nabi Ibrahim, kemudian menemui anaknya untuk memastikan apa yang sebenarnya terjadi. Setelah yakin akan kebenaran peristiwa tersebut, Khadijah pun memeluk Islam, disusul oleh Ali bin Abi Thalib, Zaid bin Haritsah, dan Abu Bakar Ash-Shiddiq