Küçük yaşda Kur'ân-ı kerîmi ezberledi ve muhtelif kırâatlere göre okumasını öğrendi. Genç yaşında; tefsîr, hadîs, fıkıh ve tasavvuf ilimlerinde pek yüksek derecelere kavuştu. Mekke-i mükerreme, Medîne-i münevvere, Şam, Kudüs, Irak, Semerkand, Çamlıdere gibi pekçok beldelerde İslâmiyeti öğretmek, emr-i mârûf nehy-i münker yapmak, Allahü teâlânın emir ve yasaklarını bildirmek için dolaştı. 

 Ali Semerkandî, tahsîlini tamamladıktan sonra, Mekke-i mükerremeye gitti. Kâbe-i muazzamada yıllarca imâmlık yaptı. Orada, insanları Ehl-i sünnet îtikâdına uygun bir îmân ile yaşamaları, ibâdetlerini sünnet-i şerîfe uygun yapabilmeleri için çok çalıştı. Mânevî bir işâret ile Medîne-i münevvereye geldi. Orada Resûlullah efendimizin mübârek türbelerinde yedi sene kadar türbedârlık hizmetinde bulundu. Bir gün rüyâsında, Peygamber efendimizin kerîmeleri Fâtımâ vâlidemizi gördü. Rüyâda; "Yâ Ali! Resûlullah'ın huzûruna git. Seni mânevî evlatlığa kabûl buyuracak!" dedi. Ali Semerkandî uyanınca, hemen Resûlullah'ın mübârek huzûruna koştu. Mübârek kabrinin karşısına geçip, diz üzerinde edeble oturdu. Başını önüne eğerek, murâkabe hâlinde beklemeye başladı. Bir müddet sonra Ravda-i mutahheradan Resûlullah efendimizin; "Buyur yâ Ali! Seni mânevî evlâdım olarak kabûl ettim. Kıyâmete kadar bu mûcizem bâkî kalsın. Yâ Ali! Öyle bir beldeye git ki, fakirlikleri sebebiyle beni ziyâret edemeyen ümmetim, seni ziyâret etsinler. Sen benim evlâdım olduğun için, sana yapılan ziyâreti bana yapılmış gibi kabûl ederim." mübârek sözlerini işitti. Bu sözleri, büyük bir zevk ile dinleyen Ali Semerkandî hazretleri, sevincinden ağladı ve cenâb-ı Hakk'ın verdiği bu nîmetten dolayı şükür secdesi yaptı. Anadolu'ya gitmesi gerektiğini anladı ve hemen harekete geçti. 

 Ali Semerkandî, bugünkü Ankara'nın Çamlıdere havâlisine geldi. (Çamlıdere'nin eski ismi Şeyhler olup, bu zâta izâfeten verildi.) Çamlıdere'ye bir derviş kıyâfetinde gelen Ali Semerkandî, oradaki insanların çok fakir olduğunu görerek, işâret buyurulan yerin burası olduğunu mânevî keşf ile anladı. Buradaki insanların irşâdı, Allahü teâlânın emirlerini bildirmek, yasaklarından sakındırmak için yıllarca çalıştı. Pekçok talebeleri oldu. İslâmiyeti yaymak için çalıştı. 

 Bulunduğu bölgeye ilk geldiği günlerde, köylülerin sığırlarını otlatacak çobanları yoktu. Arıyorlardı, fakat çobanlığa kimse yanaşmıyordu. Ali Semerkandî hazretlerinin de büyüklüğünü anlamış değillerdi. İnsanların bu sıkıntısını gören Ali Semerkandî onlara; "Sığırlarınızı otlatabilirim. Bu işten dolayı sizden ücret talep etmiyorum." buyurdu. Köylüler bu habere çok sevindiler. Köylerine yeni gelen, herkese dinden îmândan bahseden bu zâta dediler ki; "Biz, sığırlarımızla birlikte, buzağılarını da otlattırmak istiyoruz. Eğer buzağıların, annelerini emmeden otlamalarını sağlarsan memnûn oluruz." O da kabûl etti. Ertesi gün inekleri ve buzağıları bir arada otlatmaya götüren Ali Semerkandî, otlak yerinde sığırlara dönerek; "Ey inekler ve buzağılar! Akşama kadar berâberce otlayınız. Yalnız buzağılar, annelerini emmesin, anneler de yavrularını emzirmesin!" dedi. Bu söz üzerine, akşama kadar inekler buzağılarını emzirmedi. Buzağılar dahî annelerini emmek için uğraşmadı. Akşam merak içinde bekleyen köylüler, ineklerin memelerini süt ile dolu görünce hayretten şaşırıp kaldılar. Böylesini ne işitmiş ne görmüşlerdi. Bunun, Ali Semerkandî hazretlerinin bir kerâmeti olduğunu ve onun büyük velîler arasında yer aldığını anladılar. 

 Ali Semerkandî, bir gün kırda sığırları otlatırken, bir kurdun, bir öküzü öldürmek için hazırlandığını gördü. Hemen yanlarına varıp, kurda; "Ey kurt! Bu öküzü öldürmek için kimden izin aldın?" deyince, kurt dile gelip; "Ey Allahü teâlânın sevgili kulu! Bu öküz benim nasîbimdir. Allahü teâlânın izni ile bunu öldürüp yiyeceğim." dedi. O da; "Ey kurt!Öküzün sâhibine durumu anlatayım. Haberi olsun ki, bize bir kabahat bulup dil uzatarak âhiretini yıkmasın. Bugün müsâade et, yarın gel." buyurdu. Kurt, peki diyerek oradan ayrıldı. Akşam durumu öküzün sâhibine anlattı. Fakat öküzün sâhibi, Ali Semerkandî hazretlerinin büyüklüğünü idrâk edemiyenlerden idi. Onun bu anlattıklarının olamayacağını söyleyerek, ertesi gün öküzü yine gönderdi. O gün kurt, yine gelip öküzün başına dikildi. Hâdiseyi tâkib eden Ali Semerkandî, kurdun yanına gelip; "Mâdem ki yiyeceksin, hiç olmazsa derisini delik deşik etme de, sâhibinin işine yarasın!" dedi. Kurt, öküzü öldürüp, derisine zarar vermeyecek şekilde etini yedi. Akşam, öküzün yerine derisinin geldiğini gören öküzün sâhibi, doğruca Ali Semerkandî'nin yanına koşup, durumu sordu. Hâdiseyi öğrenince, inanmayıp Ali Semerkandî'ye uygun olmayan sözler söyledi ve ertesi günü kâdıya şikâyet etti. Kâdı, her iki tarafı dinledikten sonra, Ali Semerkandî hazretlerine; "Şâhidin var mı?" diye sordu. O da; "Orada bu hâdiseyi gören ağaçlar ve kayalar şâhidimdir." der demez, hâdisenin geçtiği bölgeden bir gürültüdür koptu. Kayalar ve ağaçlar harekete geçmiş, kâdı efendinin bulunduğu yere doğru geliyordu. Herkes korkudan kaçmaya başladı. Bunun üzerine Ali Semerkandî hazretleri; "Ey kayalar ve ağaçlar! Olduğunuz yerde durun!" buyurunca, durdular. Kâdı ile dâvacı ve inanmayan kimselerin hayretlerinden akılları gideyazdı. Ali Semerkandî'nin büyüklüğünü kabûl edip, onun talebelerinden oldular. 

 Yaz mevsiminde, kadınlar tarlada ekin biçiyorlardı. Oralarda sığır otlatan Ali Semerkandî, namaz vakti girdiği hâlde abdest tâzeleyecek bir su bulamadı. Âsâsını yere vurarak; "Çık, yâ mübârek!" deyince, yerden gövde kalınlığında bir su çıktı. Sular, hızla meyilli arâzide etrâfa yayılırken, kadınlar bağırmaya başladılar: "Su çıkarmanın da zamânı mı? Ekinlerimiz sular altında kalacak..." Bunun yanısıra, Ali Semerkandî'ye hakâret dolu sözler ettiler. O da suyun çıktığı yere bakarak; "Ey mübârek su! Ne çıktığın belli olsun, ne de aktığın!" buyurdu. Bu söz üzerine suyun çıktığı yer, kuyu ağzı gibi olup hareketsiz kaldı.

 
 O târihlerde Osmanlı pâyitahtı olan Bursa'da bir çekirge âfeti oldu. Her tarafı çekirge kaplamış, mahsûlleri ve çiçekleri harâb etmiş idi. Bu âfetten kurtulmak için, zamânın zirâatçılarından çâre soruldu. Yapılan bütün araştırmalardan bir netice alınamayınca, âlimlere ve velîlere haber gönderildi. Bu çekirge âfetinden kurtulma çâresinin ne olduğu soruldu. Bu haber, Çamlıdere'de yaşayan Ali Semerkandî'ye de ulaştı. Ali Semerkandî hazretleri, dağda asâsıyla çıkardığı sudan bir mikdâr Bursa'ya gönderdi. Bu suyu, zarar veren haşerâtın bulunduğu bölgeye dökmelerini tenbih etti. Suyu Bursa'ya götürdüler. Çekirge âfetinin bulunduğu bölgelere azar azar döktüler, çok kısa bir zaman içinde çekirgeler kayboldu. Mahsûller, bitkiler, çiçekler çekirgelerin istilâsından böylece kurtuldu. Bir rivâyete göre bu su, bir kap içinde yüksek bir yere asıldı. Allahü teâlânın izni ile suyun götürüldüğü yerde sığırcık kuşları toplanıp, bir anda çekirge sürülerini mahvettiler. 
 Pâdişâh, Bursa'nın çekirgelerden kurtulmasına vesîle olan Ali Semerkandî'yi Bursa'ya dâvet etti. Ali Semerkandî Bursa'ya geldiğinde, Pâdişâh ona çok izzet ve ikrâmlarda bulundu. Pek fazla iltifât edip, Bursa'da kalmasını arzu etti. Fakat Ali Semerkandî, nâzik bir ifâdeyle Bursa'da kalamıyacağını, bu ümmetin fakir olup, Resûlullah efendimizi ziyârete gidemeyen insanların bulunduğu bölgede kalmak istediğini bildirdi. Bunun üzerine Pâdişâh, bir istekte bulunmasını arzu etti. Ali Semerkandî de; "Çamlıdere havâlisindeki tebanız çok fakirdir. Onları, askerlik ve toprak kirâsı mükellefiyetinden muaf tutmanızı arzu ediyorum." buyurdu. Pâdişâh derhâl bir ferman yazdırarak, bundan sonra Çamlıdere havâlisinde bulunan kimselerin askerlik yapmayacağını ve toprak kirâsının alınmayacağını bildirdi. O günden, İstiklâl Harbi sıralarına kadar Çamlıdere bölgesinden vergi alınmadı ve askere giden olmadı. Bütün pâdişâhlar, o fermana riâyet ettiler. Ayrıca, "Çekirge Suyu" ismi ile meşhûr olan sudan zaman zaman alınarak, çekirgelerin zarar yaptığı bölgelere götürüldü. Bu su; hâlen Çamlıdere'nin kuzeyinde, Gerede'nin doğusunda, Eskipazar'ın güneyinde bulunmaktadır. 

 Çamlıdere'de Ali Semerkandî'nin külliyâtında bulunan bu fermânın bâzı maddeleri şöyledir: 1) Çamlıdere'de bulunan müslümanlar, Şeyh Ali Semerkandî hazretlerinin mânevî evlâdlarıdır. 2) Yine bu bölgenin halkına askerlik mükellefiyeti yoktur. 3) Toprak kirâsından muaf tutulacaklardır. 4) Çekirgeleri yok eden Sığırcık suyu, Şeyh Ali Semerkandî ve onun mânevî evlâdlarına âittir... Bu fermân, zaman zaman yenilenmiştir. 

 Ali Semerkandî, 1457 (H.862) târihinde Çamlıdere'de vefât etti. Türbesi Çamlıdere kabristanının ortasında bulunmakta, ziyâret edenler, ondan çok feyz almaktadırlar. Türbesinin kapısından girilince tam karşıda olan büyük sandukalı kabir ona, etrâfındaki kabirler de talebelerine âittir.