Hayatı hakkında hemen hemen hiçbir bilgi olmayan Şeyh Ali Semerkandî, isminden anlaşıldığına göre Semerkand kökenli olmalıdır. Bu muhterem zâtın, bölgenin Osmanlılar tarafından fethinden sonra zaman zaman bölgeye gelerekyerli gayrimüslim insanları irşad ederek İslam dinine girmelerine sebep olan tasavvuf büyüklerinden olması muhtemeldir.
Şeyh Ali Semerkandî, bir müddet Rize'de yaşadıktan sonra burada vefat etmiş ve Piriçelebi mahallesindeki Şeyh Camisi önünde bulunan alana defne-dilmişti. Mezarı üzerine yapılan türbesi ise Rizeliler ve Rize'ye gelenler için daima bir ziyaretgâh olmuştu.
Milli Mücadele döneminde Trabzon'da yayınlanan İstikbal gazetesi muhabiri Nüzhet Haşim Bey, 7-12 Ağustos 1922 tarihlerinde Rize'ye gelmiş ve bu esnada Rize hakkında gazetesinde yazılar yazmıştı. 8 Ağustos 1922 tarihinde yayınlanan yazısında ise Şeyh Ali Semerkandî hakkında şu bilgileri vermektedir. "Hapishanenin karşısında bir türbe var. Bu türbe taştan, gayet sağlam, aynı zamanda son derece sade, yalnız uhrevî bir mâna ifade eder bir şekildedir. İçinde Şeyh Ali Semerkandî hazretleri yatıyor diyorlar. Lâkin bu zât kimdir? Ne zaman göçmüştür? Uzaklardan gelmiş bir garip mi, yoksa Yavuz Sultan Selim'in fatih askerlerinden mi? Bunları kimse bilmiyor. Türbede bir küçük işarete bile rast gelemedim. Yalnız yeşil pûşideli bir büyük sanduka, küçük bez parçaları asılı parmaklıklardan bakan gözleri ademi esrar dolu nihayetsizliğe doğru çekiyor. Fani hayatın ledünniyatına aid dersler veren bu semavat ve uh-revî müderris acaba kimdir?'
Cumhuriyetin ilk yıllarından sonra bu cami çevresindeki mezarlık alan kaldırılırken, Şeyh Ali Semerkandî'ye ait türbe de yıktırılmış ve etraf düzlene-rek meydan haline getirilmiştir.
Rize'de türbesi bulunan bu Şeyh Ali Semerkandî'den başka 1320'de İsfahan da doğan, 1457'de Ankara Çamlıdere'de vefat eden Yahya oğlu Şeyh Ali Semerkandî daha vardır ki, bu zâtın vefat ettiği yerde vakfiyesi vardır. Yine aynı adla anılan başka bir zât ise Karaman'da medfundur. Rize'deki Ali Semerkandî'nin, bu iki zâtla aynı adı taşıyan başka bir zât olduğu anlaşılmaktadır.