او از پیروان و شاگردان ابومنصور ماتریدی بود و در بخارا به فرمان امیراسماعیل سامانی رسالهٔ السوادالاعظم (قاهره، ۱۲۵۳ق) را در اصول عقاید و کلام به عربی نوشت. به خواست امیراسماعیل سامانی این کتاب به فارسی نیز ترجمه شد که ترجمهٔ این اثر از کهن‌ترین متون کلامی و نثر فارسی به ‌شمار می‌رود.
حکیم سمرقندی در شکل‌گیری عقاید و تعالیم زاهدانهٔ حنفیان، نقطهٔ عطفی است و اعتقادنامهٔ او با عنوان «السواد الاعظم» تا مدت‌ها تبیین‌کنندهٔ اعتقادات بسیاری از حنفیان بود. با وجود این از زندگی‌نامه او مطالب بسیار کمی در دسترس است.
وی احتمالاً در سمرقند تولد و رشد یافت. در جوانی به بلخ رفت و به شاگردی ابوبکر وراق ترمذی که از عرفای برجستهٔ زمان خود بود درآمد و علوم متداول نقلی، عقلی، کلام و طریقت و تصوف را از وی آموخت و در آن‌ها چیره‌دست شد. 
حکیم سمرقندی به حدیث و روایت نیز تسلط داشت. او در نیمهٔ دوم عمر خود به سمرقند بازگشت و شاگردانی را در کلام و طریقت تربیت کرد. او به عنوان حکیمی اهل طریقت و در عین حال متکلم و فقیهی صاحبنظر در دیار خود شناخته می‌شد.از مواردی که می‌توان به عنوان اختلاف نظر میان باورهای حکیم سمرقندی و استادش (ماتریدی) برشمرد، مسئله مخلوق بودن یا نبودن ایمان است. ماتریدی به مخلوق بودن ایمان نظر داشت؛ در صورتی که حکیم سمرقندی، ایمان را غیرمخلوق می‌دانست و به صراحت مخالفان این عقیده را اهل بدعت می‌شمرد.
از او تألیفاتی بر جای مانده ‌است؛ از جمله کتاب السواد الاعظم و رساله «فی الایمان جزء من العمل ام‌لا» که رساله‌ای 
در تأیید نظریه ارجاء حنفی است و به حکیم سمرقندی نسبت داده شده ‌است. زمان‌مرگ حکیم سمرقندی را بین سال‌های ۳۴۲ تا ۳۴۵ هجری قمری 
ذکر کرده‌اند.