Dedesi Seyyid Yahya, Abbasi halifesi tarafından Basra'da bulunan Şiiler ve Sünniler arasındaki kavgalara son vermek üzere görev verilmiş o da bu görevi en iyişekilde yerine getirerek Basra, Vâsıt ve Batâih bölgelerinde huzuru sağlamayıbaşarmıştı.
İşte Ahmed er Rufâi'nin babası olan Seyyid Ali bu zatın oğludur.

Ahmed-er Rufâi, Bağdat ile Basra arasında Bataih (bataklık yerler) bölgesinde Ümmüabide köyünde dünyaya teşrif etmiştir.
Hakiki bir fıkıh, hadis, tefsir âlimi ve hakiki bir mutasavvıftı.
Ayrıca çok mükemmel bir hatipti de...

Seyyid Ahmet Rufâi (r.a.); orta boylu, nur yüzlü ve buğday benizli idi.
Saçları siyah, sakalıseyrek, alnı açık ve geniş idi.
Gözlerine sürme çeker, devamlı tebessüm eder halde bulunurdu.

Öyle güzel konuşurdu ki, kalbleri harekete geçirir, sohpetine doyum olmazdı. Hatta bir keresinde cemaate vaaz-ü nasihat ediyordu.

Cemaatte bulunan âlimlerin Ahmet Rufâi Hazretlerine çok fazla soru sorduğunu gören Ebu Zekeriyya (r.a.) onlara müdahale etti.

Bunun üzerine Ahmet Rıfai (r.a.) tebessüm edip:
"Ey Ebu Zekeriyya! Bu dünya fânidir. Bırakınız ben hayatta iken sorsunlar."buyurdular.
"Bu dünya fânidir"buyurduğunda, cemaat fevkalade heycana kapıldı, içlerinden beşkişi orada vefat etti.

Orada hazır bulunanlar içinden, ibadetlerini tam olarak yapamayan binlerce kişi tövbe edip doğru yola geldi.

Ahmed-er Rufâi, Şeyh Aliyyül Vasıtî Kuddise Sirruhu'nun vefatından sonra dayısı Mansur el Batâihî'nin terbiye ve irşad halkasına girdi.

27 yaşına kadar dayısından tasavvuf dersleri alarak çok kısa zamanda seyr-i sülûkunü tamamladı.

Daha sonra dayısı tarafından Ona"Şeyhu'ş-şuyûh"unvanı ile birlikte halifelik vererek kendisine bağlı bütün tekkelerin şeyhliğini verdi.

Dayısı'nın vefatı üzerine bu yaşta posta oturdu.

Kuddise Sirruhu, bütün tekkelerin şeyhliğine getirilince, Onu çekemeyenler, iftira atanlar eksik olmadı.

Misafirler için verdiği yemek haricinden başka bir şey yemezdi.
Kendisine ait olan misafirhane, devamlı olarak dolup boşanırdı.

Eli ayağı olmayan veya cüzzam gibi ağır hasta olan kimseleri yanına alır, onlarıbizzat kendi elleriyle yıkar, temizler ve elbiselerindeki yırtıkları yamardı.
Çok mütevazi idi.
Daima az konuşurdu ve:"Sukutla emrolundum."buyururdu.

Namaz kılarken benzi sararır, kendinden geçerdi.
Bir gün kendisi,"Namaza kalktığım zaman sanki ALLAH Teâlâ bana Kahhar sıfatıyla tecelli edecek diye korkuyorum."buyurdu.

Ahmet Rıfai Hazretleri hayvanlara karşı çok şevkatliydi.
Kimsenin bakmadığı temiz olmayan ve cüzzamlı bir köpeğe baktı, onu yıkadı ve besledi.

Bir gün paltosunun eteğinde evin kedisi uyuya kaldı.
Namaz vakti geldiğinde kediyi uyandırmaya kıyamadı ve bir müddet onu şevkatle seyretti.

Uyanmayacağınıanlayınca kedisinin yattığı yeri kesti. O haliyle namaza gitti.
Geri geldiğinde kedi uyanıp oradan gitmişti.
Kesik parçayı paltosuna tekrar dikti.

Aşırı derecede alçakgönüllü ve takva sahibi idi.
Bir gün:"İçinizde benim ayıbımı, kusurumu görüpte söylemeyen var mıdır? Varsa lütfen söyleyiniz."buyurdular.

Orada bulunanlardan bir tanesi dedi ki:"Efendim, ben sizde bir kusur görüyorum."
Bunu işiten Seyyid Hazretleri hiç üzülmedi, söyleyeni kınamadı ve:
"Ey kardeşim, lütfen kusurumu söyleyiniz."buyurdu.
O kimse:"Bizim gibi, size lâyık olmayan kimseleri huzurunuza kabul buyurmanızdır."deyince,

Başta Ahmet Rıfai (r.a.) olmak üzere oradakiler ağlamaya başladılar.
Bir ara Ahmet Rıfai Hazretleri:"Hepinizden daha aşağı olduğumu biliyorum ve ben sizlerin hizmetçinizim."buyurdu.

İbrâhim Besti isminde birisi, bir gün Ahmet Rıfâi Hazretlerine hakâretlerle dolu bir mektup yolladı.

Bu mektubu alan Ahmet Rıfâi radiyallâhu anhu, yanında bulunan birisine mektubu okuttu.

Her türlü iftirânın içinde bulunduğu bu mektup okununca, Seyyid Hazretleri sükûnetle dinlediler ve:

"Doğru söylemiş. Eğer ALLAH Teâlâ'nın indinde şüpheli bir durumum yoksa, insanların bana ettiği iftirâlara hiç aldırış etmem." buyurdular ve mektuba cevap olarak şunları yazdırdılar:

"Muhteremİbrâhim Besti Hazretleri, ALLAH Teâlâ beni dilediği gibi ve istediği yerde yarattı. Sizin doğruluğunuza güveniyorum. Hayır duâlarınızdan beni mahrum bırakmamanızı ve haklarınızı helâl etmenizi yüksek zâtınızdan istirham ediyorum."

Ahmed er Rufâi Hazretleri, Hicri 555 senesinde Hacc'a gitmiştir.
Hac dönüşü Medîne'de Ravzaı Mutahhara'yı ziyâret etmiştir.

Peygamber Efendimizin kabri önünde şu nidâda bulunmuştur:

"Es-selâmu Aleyke ya Ceddî!"

Peygamber Efendimizin kabrinden:

"Aleykum es-Selâm Yâ Veledî" cevâbıduyulmuştur..

O sırada orada bulunan bütün ziyâretçiler bu sesi işitmişlerdir.
Bunun üzerine vecde gelen Seyyid Ahmed-er Rufâi Hazretleri, titreyerek diz çöküp şunları söylemiştir:

"Uzakta iken rûhumu gönderiyordum. Bana, vekâleten toprağını öpüyordu,şimdi ise huzûrundayım şu mübârek elini uzatıver de dudaklarım onunla haz duysun !.."

Peygamber Efendimiz'in kabrinden nûrânî eli dışarıya uzanmış ve bütün ziyâretçilerin gözleri önünde O, bu eli öpmüştür.

Bu hâdise (Burhan) bir tevâtür derecesinde hacılar arasında yayılmış, bütün İslâm ülkelerinde duyulmuştur.
Şâhidler arasında devrin tanınmış sûfileri de vardır.

Abdukadir Geylâni Hazretleri, Seyyid Ahmed-er Rufâi Hz.leri için :

"Sahâbe-i Kiram, müctehidinden ma’ada tabâkat-ı evliyâdan hiç kimse Ahmed er Rufaî Hazretlerinin makâmına vâsıl olamamıştır." demiştir.

Hicrî 560 yılında Abbâsi halîfesi olan el-Müstencid, kendisini Bağdat'a da'vetinde karşılamak üzere oğlunu vazîfelendirmiştir.
Sarayda da'vetliler arasında devrin ileri gelen Şeyhleri- mutasavvıfları da hazır bulundular.

Her biri sırayla sohbet eder, söz sırası Ahmed-er Rufâî hazretlerine gelince bir konuşma yapmış Halife el Müstencid, Ahmed-er Rufâî'nin sohbetini ağlayarak dinlemiştir.

Daha sonra Seyyid Ahmed-er Rufâî babasının Bağdad'taki türbesi civârında zikir meclisi tertip ederek, Halîfenin de bizzat bu mecliste bulunmuştur.

Kaynaklarda Rufâî hazretlerinin, ikinci bir defa daha Hacc'a gittiği , arafatta Hızır (a.s) ile karşılaştığı ve Hızır'ın kendisine tac ve hırka giydirdiği ifâde edilmektedir.