Rize'nin Kalkandere ilçesi Sivane (Hüseyinhoca) köyünden Güvelioğlu İshak Efendi'nin oğludur. 1833'de doğdu. İlk eğitimini o yıllarda Karadere'de her hangi bir eğitim kurumu olmaması nedeniyle her çocuk gibi köy camisinde cami imamından aldı. Daha sonra İstanbul'a giderek burada medrese eğitimini tamamlayıp müderris olarak mezun oldu. Bu mezuniyetten önce, hocası tarafından tasavvufî-manevî bir imtihana tabi tutulur. Rivayetlere göre arkadaşı ve hemşerisi Güneyce/Varda'lı Osman Niyazi Efendi (1828-1909) ile Hüseyin Efendi'ye birer adet koyun verilir. Hocaları kendisinin görmediği bir mahalde bu koyunları kesmelerini ve medreseye gelmelerini tembihler. İki müderris adayı koyunlarla medreseden uzaklaşır, hocalarının kendilerini görmediğini,artık koyunları yatırıp kesebileceklerini düşündükleri anda, hocalarını karşılarında görürler. Aynı hal gün boyunca birkaç defa tekrar edince Hüseyin Efendi, hocasının her halükârda kendilerini göreceğini düşünerek koyunu yatırır, arkasını hocasına döner, besmeleyle koyunu keser. Niyazi Efendi ise hocasının kendisini gördüğünü düşünerek koyunu kesmez ve beraberce medreseye gelip hocasının huzuruna çıkarlar. Durumu hocaları olan zâta izah ettikten sonra, Hüseyin Efendi mezun edilir, Niyazi Efendi'nin bir müddet daha tahsiline devam etmesi söylenir. Mezuniyet sonrası Kalkandere'ye gelen Hüseyin Efendi, burada büyük bir medrese inşa ettirip müderrislikte bulunur. Tahsilini tamamlattığı birinci dönem talebelerine icazet verir. İkinci dönem talebelerine icazet vermeye hazırlandığı sırada 1888 yılında 55 yaşında olduğu halde vefat eder. Yaşadığı dönemde Rize bölgesi ve civarının meşhur ilim adamlarından olan ve Trabzon Valisi Sırrı Paşa'nın 1880 yılında Bab-ı Ali'ye gönderdiği bir rapordan anlaşıldığına göre Birinci derecede haysiyete sahip bir zât olan Müderris Hüseyin Efendi, Ahmet Ziyauddin Gümüşhanevî Efendi'den Nakşibendi Tarikatı üzere hilafet almış bir şeyhtir. Bu durum Mustafa Fevzi Efendi'nin 1313 (1895) yılında yayınladığı Hediyyetü'l-Halidin adlı eserinde "Hüseyin Rizevi'dir Şeyh-i Ekrem" şeklinde ifade edilir. Yine medrese kitabesinde bulunan şiirin bir mısrası,
Naşir ve banisidir şeyh-i tariÇ-ı Nakşşbend Zâhir u bâtın mükemmil'dir bu ulya medrese
Şeklindedir. Burada Hüseyin Efendi'nin medresenin bina ettireni olması yanında Nakşbendî Tarikatı şeyhi olduğu ve medresenin hem görünüş bakımından hem de manevi yönden eksiksiz-üstün yapıldığı belirtilmektedir. Buna benzer bir başka kayıt da Hüseyin Efendi'nin mezar kitabesinde bulunur.
Hüseyin Efendi'nin hafî (sessiz) zikir yapılan Nakşbendî Tarikatı'na mensup olduğu ve Allah (c.) katında fazilete nail olmuş ve muvafık (uygun) bir insan olduğu anlatılmaktadır. Hüseyin Efendi'nin şeyhlik yönünün öne çıkmaması, onun zamanının çoğunu tedrisat ile geçirmesinden ileri gelmektedir. 1913 yılında Rize'deki köy adları yenilenirken Sivane köyünün adı ulema-i meşhureden olması dikkate alınarak Hüseyin Hoca'ya çevrilmiştir.
Evinin önüne gömülmeyi vasiyet eden Hüseyin Efendi'nin bu vasiyeti yerine getirilmemiş, Karadere'de medrese bahçesine gömülmüştü. 1932 yılında buraya nahiye müdürü olan kişi medreseyi yıktırıp, mezarları da kaldıracağını söyleyince, ölümünden 44 sene sonra köyündeki evinin önüne nakledilmiştir. Mezar taşında şu yazı bulunur:
HUVELBAKI
........................................ gitti dar-i ukbaya
............... ve ruhini şad ede hazreti mevla
Uluvv-i himmeti teyid-iHakka mazhar idi %eh kıldı medrese hem cami-i şerif inşa Birinci defa icazet verup ikincide Celale ders iricekoldu âzim-i ukbâ Tarik-i zikr-i hafi yani Nakşbendi idi Mestu ve vâf idi Hakka ol fâzıl ü dânâ Vefatına dedim Agâhi çıktı bir tarih Hüseyin Efendi' ye yâ Rab behişt ola te'vt Sene 1306 Fi 10 Cemaziyulahir
