Beliau lahir di Darbu Habib yang terletak di Baghdad, ada yang mengatakan bahwa beliau lahir pada tahun 507 H. ada pula yang mengatakan pada tahun 509 H atau tahun 510 H. Pendapat yang mungkin paling tepat adalah dia di lahirkan sesudah tahun 510 H.
Dalam bukunya Shaidul Khathir beliau menuturkan kisah perjalanannya yang penuh penderitaan dan kesulitan dalam mencari ilmu dan bagaimana beliau menghadapi semua itu dengan penuh kesabaran. Ia berkata, “Sungguh, dalam perjalanan mencari ilmu banyak sekali kesulitan yang saya hadapi. Semua itu saya rasakan lebih manis daripada madu. Sebagaimana yang disebutkan dalam sebuah syair:
“Barangsiapa yang cita-cita tingginya mengalahkan nafsunya, maka apapun yang menimpanya semua tetap ia cintai“.
Ketika saya masih kecil, saya terbiasa memunguti sisa-sisa roti kering, kemudian saya keluar untuk mencari hadis. Saya biasanya duduk di pinggir sungai Isa di Baghdad, karena saya tidak bisa memakan langsung roti itu kecuali dengan air. Tentunya karena kerasnya. Setiap kali satu suapan pasti saya ikuti dengan minum air.
Dan naluri saya tidak bisa menyembunyikan kegembiraan dalam menuntut ilmu itu, meskipun secara lahir orang melihatnya cukup menderita. Saya sudah cukup bersyukur dengan keadaanku. Dan benar, akhirnya jerih payah ini membuahkan pengetahuan luas. Saya dikenal sebagai orang yang banyak menghafal hadis Rasulullah shallallahu ‘alaihi wa sallam, riwayat keadaan beliau, para shahabat dan tabi’in.
