Rifai Tarikatı'ndandır. Rize Salarha deresinden Çödelekzadeler sülalesinden olup 1872 yılında Trabzon'un Maçka ilçesinde doğdu. Babası Rize eşrafından Molla Mehmed Abdülhamid Efendi, anası Esma hanımdır. Ailesi 93 harbinde İstanbul'a gitti. Aziz Efendi ilk tahsilini Eyüp'te Şah Sultan İptidai mektebinde yaptı. Sibyan memkebi sırasında hatta olan merakı nedeniyle nesih ve sülüs yazılarını öğrendi. Nuruosmaniye'deki Hat mektebine kaydoldu. Talik, nesih ve sülüs yazılarında icazet aldı. Bunun yanında divanî, reyhanî, muhakkak, tevkiî, talik ve rik'a yazılarını bilir ve yazardı. 1904'de medrese icazetnamesi aldı. Özbekler Tekkesi şeyhi Edhem Efendi'den ebru sanatını öğrendi. Hattatlık ve sanat yönüyle öne çıkan Aziz Efendi, Maruzât-ı mühimme kitabeti'ne terfi etti ve kendisine gümüş liyakat madalyası verildi. Bu görevi yanında Medreset-u'l-Kuzât'da, Mahmudiye Rüşdiyesi'nde hat hocalığı yaptı. Meşihat dairesi memurlarına talik dersi verdi. Bu esnada Ümmî Kenan dergâhı şeyhi Kenan Rifai'ye intisab ederek 1910 yılında ondan hilafet aldı. 1922'de davet edildiği Mısır'a giderek burada bir Kur'ân-ı Kerim yazdı. 5 ay için gittiği Mısır'da, Melik I. Fuad'ın hat sanatının yok olmasını önlemek için burada kalmasına dair teklifini kabul ederek Kahire'de kaldı ve açtığı Hat Medreseleri ile İslam dünyasından birçok talebe yetiştirdi. Bu arada sanattan arta kalan vakitlerini
Mevlevîhanede irşad halkasına girenleri yetiştirmekle geçirdi. Kahire'nin havası sağlığına pek yaramadığı için Nisan 1933'de Mısır hükümetinden emekliliğini isteyerek İstanbul'a döndü.
Eşinin adı Naciye olup, 17 yaşında vefat eden Raif adlı bir oğlu yanında Azize adlı bir kız çocuğu da vardı.
16 Ağustos 1934'de vefat edip Edirnekapı mezarlığına defnedildi. Kabir taşında Latin harfleriyle şu yazı bulunur. "Hattat-ı şehir Şeyh Aziz Rifaî Efen-di'nin ruhuna Fatiha, 16 Ağustos 1934'
