'काबा का असली ऑरिजिन बताना मुश्किल है', एफ इ पीटर ने अपनी किताब 'मक्का ए लिटररी हिस्ट्री ऑफ मुस्लिम होली लैंड में लिखा है', में यह बात लिखी है.
उन्होंने लिखा है कि कुरान के हिसाब से काबा को प्रार्थना का पहला घर बताया गया है, जिसको इस्लाम के पैगंबर अब्राहम और इस्माइल से भी जोड़ा जाता है.
एफ इ पीटर लिखते हैं कि शुरुआती दिनों में काबा मिट्टी के बिना चिपके पत्थरों से बना था. इसकी ऊंचाई इतनी कम थी कि मेमने फांद कर जा सकते थे. इसमें कोई छत भी नहीं थी.
काबा को पहनाए जाने वाला कपड़ा किस्वा चारों तरफ लटका कर रखा जाता था. आस पास की इमारतों को मिट्टी में भूसा और घास मिलाकर बनाया जाता था.
ये भी कहा जाता है कि परंपरागत रखे जाने वाले खजाने को कुएं या गुफाओ में रखा जाता था जो आसानी से चोरी हो जाता था. यही नहीं काबा कई बार निशाने पर भी रहा.
मान्यताओं के मुताबिक साल 570 CE में यमन का ईसाई राजा अबराह काबा को तबाह करना चाहता था. इसके लिए उसने एक बड़ी सेना खड़ी की जिसमें एक हाथी भी शामिल था. जैसे ही वो मक्का की तरफ आए चिड़ियों के एक झुंड ने उन पर पत्थर बरसा कर उनका खत्मा कर दिया.
साल 630 CE में जब इस्लाम का आगमन हुआ तब पैगंबर मोहम्मद और उनके अनुनाइयों ने मक्का का कंट्रोल ले लिया.
इस्लाम के आने के बाद के वर्षों में काबा में कई बदलाव किए गए. अब्बास्सीद और ऑटोमन साम्राज्य ने अलहरम मस्जिद की संरचना के विस्तार में अहम भूमिका निभाई है.
फिर जब सऊदी राज आया तो काबा में कई इजाफे किए गए और मस्जिद का भी विस्तार हुआ, जिसकी वजह से आज लाखों हज यात्री काबा के चारों तरफ चक्कर लगाते हैं और अपनी हज यात्रा पूरी करते हैं.