Horasan'ın Belh şehrinde doğdu. Varlıklı ailesiyle genç yaşına kadar Horasan'da bulundu. İbrahim bin Edhem Hazretleri şehzâde iken tam, tahtını, malını mülkünü bırakıp kendini, ilme verdi. Büyük evliyâ ve âlimlerden oldu. Horasan'dan ayrıldıktan sonra; Hicaz, Iran, Irak ve Ana-dolu'ya seyahatler yaptı. Kayseri, Antakya, Tarsus, Maraş, Şam, Humus, Beyrut, Basra, Kûfe, Mekke, Medine, Kudüs, iskenderiye, Trablus, şehirlerine seyahatler yaptı. Yaşadığı dönemde başta Ebû Hanife olmak üzere birçok kişiyle yakın dostluk kurması, kendi el emeği ve alın terıyle geçimini sağlaması, menkıbelerinin halk arasında yayılmasına sebep olmuştur. Menkıbeleri ve şöhreti çok yayılmıştır. Halbuki, kendisi şöhretten, çok sakınırdı. Bizanslılarla yapılan bir deniz seferinde vefat etmiştir.
İbrahim bin Edhem hazretleri şehzadeliği günlerinde bir gün odasına girdiğinde hizmetçisinin kendi yatağında yattığını görünce öfkelendi ve dövdürttü. Hizmetçi,dayağı yedikçe gülüyordu. Buna bir mânâ veremeyen İbrahim bin 'Edhem hazretleri sebebini sordu. Hizmetçi dedi ki: "Yatağınızı temizlerken bir an kendimi size benzettim ve yatağınıza yattım. Birkaç dakika için dünyanın dayağını yedim. Siz yıllardır bu yataktasınız. Acaba âhirette hâliniz nice olur, diye gülüyorum." 0 anda İbrahim bin Edhem hazretleri, makamını terkederek evliyalardan oldu.
İbrahim bin Edhem hazretleri şehzadeliği bıraktıktan sonra, bir gün deniz kenarında oturmuş elbisesini yamıyordu. Memleketin valisi, yanındakilerle birlikte oradan geçerken İbrahim bin Edhem hazretlerinin başında durdu. Vali onu seyrederken şöyle düşündü: "Bak şu dünün şehzâdesine! Böyle yapmakla sanki eline ne geçti?" İbrahim bin Edhem hazretleri, valinin hatırından geçenleri anlamıştı. 0 an iğnesini denize fırlattı. Sonra dedi ki: "Balıklar! İğnemi bana getirin!" Bir balık, ağzı ile denize attığı iğneyi getirdi. İbrahim bin Edhem hazretleri valiye dönüp buyurdu ki: "İşte elime bu geçti!.."
