# Rekabet İstihbaratı Raporu: Apple Silicon'da SSD‑Streamed MoE ile Rekabet Eden Yerel LLM Platformları Bu raporun incelediği niş, tüketici donanımında yüksek kaliteli yerel büyük dil modeli (LLM) çıkarımı için ortaya çıkan pazardır; özellikle, **Qwen3.6‑35B‑A3B** veya DeepSeek‑4 sınıfı Mixture‑of‑Experts (MoE) modelleri gibi modelleri 16 GB M1 Pro MacBook kullanarak geleneksel tam RAM yüklemesi yerine SSD‑streamed ağırlıkları kullanarak çalıştırma yeteneğidir.[2][3][10] DeepSeek‑4 Flash ve Pro için ds4 projesi, asimetrik kuantizasyon ve `mmap` aracılığıyla SSD uzman akışı ile, RAM'ı sıcak uzmanlar için bir önbellek olarak kullanarak ve SSD'yi bellek hiyerarşisinin bir uzantısı olarak ele alarak, materyel olarak daha az RAM'ı olan sistemlerde 30–32 GB MoE modellerini çalıştırmak için zaten mümkün olduğunu göstermektedir.[3][10] Bu arka plan karşısında, birçok yerel LLM platformu—Ollama, LM Studio, Jan.ai, GPT4All (Nomic AI tarafından), ve Apple cihazları için Private LLM—yerel çıkarım isteyen gizlilik odaklı kullanıcılar ve geliştiriciler için varsayılan seçenekler olarak konumlandırılan traksiyon, finansman ve konumlandırmaları göz önüne alındığında en tehlikeli rakiplerdir. Bu rapor, bu oyuncular üzerinde derin rekabet istihbaratı sağlar, bu niş için fiyatlandırma ve ödeme istekliliği kriterlerini karşılaştırır ve Apple Silicon'da SSD‑streamed MoE ürünü olan Qwen3.6‑35B‑A3B için yararlanılabilecek pazar boşluklarını tanımlar. ## 1. Pazar Bağlamı: Yerel LLM'ler, MoE Akışı ve Apple Silicon ### 1.1 Teknik ve Pazar Açısından İş Fikri Bu araştırmanın temelini oluşturan iş fikri—"Show HN: Qwen3.6‑35B‑A3B on a 16 GB M1 Pro with SSD‑streamed MoE"—üç trendin kesişim noktasında yer almaktadır: Qwen3.6 gibi açık ağırlık sınır‑bitişik modellerin yükselişi, MoE mimarilerin olgunlaşması ve dizüstü bilgisayarlar ve iş istasyonları için yerel LLM araçlandırmasının hızlı büyümesi.[2][3][10] Qwen3.6‑35B‑A3B, Qwen 3.6 serisinin bir parçasıdır ve agentic kodlamaya ve uzun bağlam muhakemesine vurgu yapar; bakımcılar çoğu sorgu için 32.768 belirtece kadar ve karmaşık matematik ve programlama görevleri için 81.920 belirtece kadar çok büyük çıktı uzunluklarını açıkça tavsiye ederler.[2] Bu bağlam seviyesi, 35B parametresi ve bir A3B mimarisi ile birleştiğinde, özellikle batch‑tarzı çevrimdışı üretim yerine etkileşimli performans isteyenler için, 16 GB M1 Pro'da basit bir RAM içi yüklemeciliğin ötesine geçer.[2][3] MoE mimarileri, özellikle yönlendirilmiş uzmanlar ve kuantizasyon ile, model boyutu ve donanım sınırlarını, token başına yalnızca uzmanların bir alt kümesini etkinleştirerek ve depolama biriminden gerektiğinde etkin olmayan uzmanları akıta çalışarak uzlaştırmak için bir yol sunar.[3][10] ds4 projesi antirez (Salvatore Sanfilippo) tarafından DeepSeek‑4 modelleri için bunu somut şekilde göstermektedir: SSD akışı, mevcut RAM'in sert bir kesilme noktası olarak değil, routed MoE uzmanlarının bellek içi önbellekte tutulması ve soğuk uzmanların `mmap` kullanarak disk'ten akış yapılması ile hız seviyelerinin bir sürekliliği olarak ele alınmasına izin verir.[3][10] Windows'ta, ds4 ilk olarak Daniel Isaac tarafından Apple sistemlerinde test edilen bir tekniği çoğaltır ve model dosyasını doğrudan sanal belleğe eşler, böylece işletim sistemi sayfa önbelleği bir "uzman önbellek yöneticisi" haline gelir; sıcak uzmanları RAM'de önbelleğe alır ve soğuk olanları donanıma bağlı olarak yaklaşık 0.5–1.5 GB/s'de SSD'den akış yapılır.[3] Deneylerde, bu 32 GB Q4‑quantized MoE modelinin 28 GB sistemi üzerinde 2.5–4 belirteç/saniye çalışmasına izin verdi, oysa akış olmayan bir konfigürasyon imkansız olurdu.[3] Apple Silicon için, `llama.cpp` ve `llama-cpp-python` gibi araçlandırma zaten Metal GPU offload'ını ve GGUF kuantize modellerini destekler; `GGML_METAL=on` belirleyerek ve `--n_gpu_layers` ayarlayarak CodeLlama‑7B gibi küçük ve orta ölçekli modellerin macOS'ta verimli bir şekilde çalışmasını sağlar.[8] Bununla birlikte, Ollama ve LM Studio gibi ana akım yerel LLM platformları şu anda statik GGUF kuantize modellere ve birleşik bellek yüklemesine daha odaklanmışlardır; kısıtlı RAM'de derin MoE‑spesifik SSD akışı yerine.[4][34] Bu bir

# "Show HN: Qwen3.6‑35B‑A3B on a 16 GB M1 Pro with SSD‑Streamed MoE" için Pazar Boyutlandırması ve Risk Analizi Bu rapor, bir büyük mixture‑of‑experts (MoE) modeli olan Qwen3.6‑35B‑A3B'yi, 16 GB M1 Pro MacBook'ta Apple Metal‑optimize edilmiş çıkarım kullanarak SSD‑tabanlı akış aracılığıyla yerel olarak çalıştırmayı sağlamaya dayanan, bir ürüne veya şirkete dönüşebilecek açık kaynak bir "Show HN" projesi olarak konumlandırılan bir işletmenin ticari potansiyeli ve risk profili analiz eder.[1][7][8][9] Temel fikir, MoE uzman ağırlıklarının SSD akışını kullanmaktır; böylece nominal olarak 25 GB'tan fazla VRAM gerektiren bir model, yalnızca 16 GB birleşik belleğe sahip tüketici‑sınıfı Apple Silicon dizüstü bilgisayarlarda yürütülür; böylece yerel çıkarımı tercih eden veya gerektiren geliştiriciler ve güçlü kullanıcılar için yüksek kaliteli akıl yürütme ve kodlama yeteneklerinin kilidini açar.[1][8][9][10] Üretken AI yazılımı, profesyonel geliştirme harcaması, geliştirici nüfusları ve Apple Silicon donanımında mevcut pazar verileri kullanarak, bu rapor toplam adreslenebilir pazarının (TAM), hizmetlenebilir adreslenebilir pazarının (SAM) ve hizmetlenebilir elde edilebilir pazarının (SOM) senaryoya dayalı aşağıdan‑yukarıya tahminlerini oluştururken, ampirik verilerin bulunmadığı ve varsayımların gerekli olduğu yerleri açıkça işaretler.[14][15][16][17][18] Ayrıca karşılaştırılabilir yerel LLM araçlandırması projelerinde arızanın veya dönemsel değişikliklerin tarihsel kanıtlarını değerlendirir, cihaz üzerinde AI ve model dağıtımı için yasal ve düzenleme ortamını inceler ve açık model ajanları, yerel çıkarım platformları ve cihaz üzerinde temel modelleri gibi bitişik alanlarda son finansman ve rekabet sinyallerini araştırır.[11][12][14][19] Bütün bunlar sayesinde, analiz bu niş—tüketici Apple Silicon'da büyük açık modeller için SSD‑streamed MoE çıkarımı—'nin çok genç olduğunu, sınırlı doğrudan emsal ile, ve bu nedenle hem yükseliş potansiyeli hem de risk, özellikle teknik yürütme, geliştirici benimsemesi ve daha büyük mevcut oyuncuların rekabet hareketleri açısından alışılmadık şekilde yüksek olduğunu vurgular.[7][8][9][19] ## 1. İş Konsepti ve Bağlamı ### 1.1 Önerilen İş Fikrini Tanımlama İş fikri, Apple Metal GPU API'lerini, modern kuantizasyon ve önbelleğe alma tekniklerini kullanarak Qwen3.6‑35B‑A3B'yi 16 GB birleşik belleğe sahip bir MacBook Pro M1 Pro'da yerel olarak çalıştıran bir açık kaynak, son derece optimize edilmiş çıkarım yığını oluşturmak ve potansiyel olarak ticari hale getirmek olarak özetlenebilir; bunu yapan hızlı bir NVMe SSD'den MoE uzman ağırlıklarını akıta çalışarak.[1][7][8][9][19] Qwen3.6‑35B‑A3B, Alibaba'nın Qwen takımı tarafından geliştirilen büyük, ileri bir üretken modeldir; kodlama ve akıl yürütme görevlerinde güçlü performans, 262.144 belirtecinin varsayılan bağlam uzunluğu (RoPE ölçeklemesi aracılığıyla 1 milyondan fazla belirtecin ötesine itme mekanizmaları ile) ve nihai yanıtlardan önce dahili zincir‑düşünce içeriği yayan bir "düşünme modu" ile karakterize edilen bir modeldir.[9] Qwen3.6‑35B‑A3B varyantı, bir mixture‑of‑experts modelidir; anlamı birden fazla uzman alt ağı içerir; ağırlıkları modelin toplam bellek ayak izine önemli ölçüde katkıda bulunur, bu nedenle tipik GPU dağıtımları 25 GB'tan fazla VRAM gerektirir ve 16 GB MacBook Pro M1 Pro ile doğrudan uyumlu değildir.[1][8][9] WillItRun.ai, Qwen 3.5 35B A3B kuantizasyonunun yaklaşık 25.3 GB VRAM gerektirdiğini ve bu nedenle yalnızca 11.5 GB erişilebilir GPU belleğini sunuyor olan 16 GB MacBook Pro M1 Pro'da yerel olarak çalıştırılamayacağını belgeleyerek; bu proje SSD akışı ve yazılım ustalığı aracılığıyla aşmayı hedeflediği donanım kısıtlamasını vurgular.[1] SSD‑streamed MoE konsepti, MindStudio tarafından "SSD Streaming for AI Models" açıklamasında ifade edilen fikirleri temel alır; burada model ağırlıkları—özellikle bir MoE mimarisinde uzmanların ağırlıkları—tam olarak RAM yerine bir NVMe SSD'de depolanır ve çıkarım sırasında yalnızca etkin uzmanlar talep üzerine belleğe yüklenir.[8] MindStudio'nun "Dwarf Star" tasarımında, dikkat katmanları, katman normalleştirmesi ve yönlendirme ağırlıkları gibi uzman olmayan bileşenler RAM'de kalır; uzman ağırlıkları (modelin boyutunun çoğunu oluşturan) diske boşaltılır ve gerektiğinde alınır; bu, bazı çıkarım hızından ödün verme pahasına azaltılmış RAM gereksinimleri sağlar.[8] Bu teknik, geliştiricilerin yeterince hızlı bir SSD'ye sahip oldukları koşulda (ideallikle 5.000–7.000 MB/s civarında ardışık okuma hızlarına sahip PCIe 4.0 veya daha iyi), sistem RAM'inin başka türlü izin vereceğinden daha büyük modelleri çalıştırmasını sağlar; etkili ön getirme desteklemek için.[8] 16 GB M1 Pro'da Qwen3.6‑35B‑A3B'ye uygulandığında, fikir MoE modelinin uzman ağırlıklarının SSD'den akış yapılabilmesi; yönlendirme, dikkat ve diğer paylaşılan bileşenler kısıtlı birleşik bellek içinde kalır; böylece model büyük parametre sayısı ve bağlam uzunluğuna rağmen yerel çıkarım uygulanabilir hale gelir.[1][8][9] Sorguya başvurulan proje URL'si, ds4 ile ilgili bir GitHub deposunu işaret eder; orijinal olarak DeepSeek V4 Flash için oluşturulan ve Apple Metal API'sı için optimize edilen bir çıkarım motoru; ds4‑webui minimal ön uç olarak sunulur ve Pinokio başlatıcısı Metal‑tabanlı bir çıkarım sunucusuna tarayıcı tabanlı bir arayüz sağlar.[6][7] ds4‑webui deposu kendisini "antirez/ds4 için bir Pinokio başlatıcısı ve bağımsız tarayıcı UI'sı, DeepSeek V4 Flash için dar bir Metal‑tabanlı çıkarım motoru" olarak tanımlar; cihaz üzerindeki kullanım ve Apple Silicon'a uyarlandığını vurgular; bu Qwen3.6 iş fikrindeki odakla yansıtma gösterir.[7] Bu ekosistem, Metal‑optimize edilmiş çıkarım motorları ve HN‑tarzı show‑and‑tell projeleri için zaten bir teknik ve topluluk temelinin bulunduğunu gösterir; bu projeler daha sonra daha cilalı araçlara veya platformlara dönüşür.[6][7][11] Önerilen işletme muhtemelen benzer bir örüntü takip eder: Qwen3.6‑35B‑A3B'nin 16 GB M1 Pro'da SSD‑streamed MoE aracılığıyla çalıştırılabileceğini kanıtlayan açık kaynaklı bir "Show HN" gösterisi olarak başlatılır; daha sonra pro dağıtımları, yönetilen kurucular, geliştirilmiş ajan yetenekleri veya yerel Qwen araçlandırmasını standartlaştıran takımlar için kurumsal destek gibi parasal kılıfları keşfeder.[6][7][9][11][12] ### 1.2 Mevcut Yerel LLM Araçlarına Kıyasla Temel Farklılaştırıcılar Pazar boyutunu ve riski anlamak için, bu fikri Apple Silicon'ı zaten destekleyen ancak genel olarak daha küçük modelleri veya farklı kullanım örüntülerini hedefleyen mevcut yerel LLM platformlarından ayırt etmek çok önemlidir.[10][11][12] WillItRun.ai, örneğin, "MacBook Pro M1 Pro 16GB için En İyi Yerel LLM'ler" sıralamasını koruyor; Qwen 3.5 9B, Qwen 3 8B ve Qwen 3.5 4B gibi daha hafif Qwen modellerini bu donanımda kodlama, sohbet ve yazı için en iyi seçenekler olarak tavsiye ediyor; bellek kısıtlamaları nedeniyle 35B‑ölçek modelleri çalıştırma girişimi yapılmıyor.[10] Bu günümüzün 16 GB M1 Pro'da ana akım deneyimi gösteriyor; bu Ollama, LM Studio veya Jan aracılığıyla 4–9B parametre modelleri kullanmak olup, çok yüz bin belirtecli bağlam pencereleri ile 35B MoE modellerini çalıştırmak için donanımı zorlamak yerine.[4][10][11][12] LM Studio kendisini "Bionic, açık modeller için bir ajan, yerel olarak doğal, yaratıcılık, iş ve kod için inşa edilmiş" olarak konumlandırır; çeşitli açık modelleri düzenleyebilecek genel amaçlı bir ajan katmanını vurgular ancak kısıtlanmış dizüstü bilgisayarlarda aşırı model boyutu veya SSD akışı inovasyonlarına mutlaka odaklanmaz.[11] Jan.ai kendisini "ChatGPT'ye açık kaynaklı bir alternatif" olarak pazarlanır; açık kaynaklı AI modellerini yerel olarak çalıştırabilir veya GPT ve Claude gibi bulut modellerine bağlanabilir; yeniden kullanılabilirlik ve hibrid yerel‑bulut bağlantısına daha odaklanır; çok büyük MoE modellerini kaynak kısıtlı donanımda etkinleştirmekten ziyade.[12] Bunun aksine, SSD‑streamed Qwen3.6‑35B‑A3B fikri daha teknik olarak gelişmiş bir niş hedeflenmektedir: geliştiriciler, araştırmacılar ve çok yakın sınır performansı ve çok uzun bağlam uzunluğu isteyebilirse; yerel çıkarımı gizlilik veya maliyet nedenleriyle tercih eder veya basitçe Apple Silicon donanımını sınırlarına zorlamaktan hoşlanırlar.[1][8][9][10] Etkin olarak, bu ds4 ve Dwarf Star'a LM Studio veya Jan.ai'ye kıyasla daha yakındır; derece en iyi hale getirilen çıkarım boru hatları, Metal hızlandırması ve akış mimarileri, kullanıcıya yönelik UX muhtemelen teknoloji kararlılık sağladıktan sonra başlayabilir.[7][8][11][12] Böyle bir ürün, Qwen3.6 belgeleri tarafından agentic kodlama iş akışları ve depo‑seviyesi muhakeme için önemli bir yetenek olarak açıkça vurgulanan "düşünme modu" destekleyerek ayırt edilebilir.[9] Bir tarayıcı‑tabanlı ortamda yoğun kodlama, ön uç iş akışları ve simülasyon görevleriyle uğraşan kullanıcılar için, Apple Silicon'a ayarlanmış bir MacBook'ta yerel bir Qwen3.6‑35B‑A3B dağıtımı, özellikle ajan çerçeveleri ve önbelleğe alma stratejileri ile birleştiğinde son derece çekici olabilir.[2][9][11][19] ### 1.3 Apple'ın On‑Device AI Stratejisine İlişkin İlişki Fikir ayrıca, Apple'ın kendisinin Apple Silicon'a optimize edilmiş cihaz üzerinde temel modellere yoğun bir şekilde yatırım yaptığı geniş bir stratejik ortam içinde de mevcuttur; bu eğilim hem cihaz üzerinde LLM'lerin önemini doğrular hem de potansiyel rekabet riski yaratır.[19] Apple'ın makine öğrenmesi araştırması güncellemeleri, Apple Silicon'a özel olarak uyarlanmış, düşük gecikme süresi çıkarımını ve minimal kaynak kullanımını sağlayan, Apple Silicon GPU'yu ve Neural Engine'i yararlanmak için kısıtlı cihaz çıkarımı yetenekleri sunan cihaz üzerinde optimize edilmiş bir temel modeli tanımlar ve en az AI çıkarımının bazılarını bulut tamamen dayanan deneyimleri yerine yerel tutmada önemli değer bulunduğunu temel alır.[19] Aynı anda, Apple'ın cihaz üzerinde modellere coşkusu, gelecekteki macOS veya Xcode sürümlerinin yerleşik LLM'ler ve ajan katmanları ile sevkedilmesine ilişkin olasılık yükseltir; bazı senaryolarda üçüncü taraf yerel çıkarım yığınlarının ihtiyacını azaltır veya üçüncü taraf araçlandırmasının gezinmesi gereken yeni platform kısıtlamaları düşünür.[13][19] Qwen3.6‑35B‑A3B SSD‑streamed MoE projesi için, Apple'ın yönü bir karma sinyaldir: cihaz üzerinde AI'ye ilişkin açık kullanıcı talebini ve platform desteğini gösterir; fakat uzun dönemli farklılaştırmanın açık modelleri, son derece özel iş akışları (büyük bağlam kodlama ajanları gibi) ve Apple'ın kendisinin modelleri önceliklendirmeyebileceği çok platformlu yetenekleri destekleme konusunda bağlı olabileceğini temel alır.[9][11][19] Apple Silicon vurgulayan Apple'ın belgeleri, MacBook Air'den Mac Pro'ya kadar çok çeşitli modelleri—aynı temel mimariye ve birleşik bellek ve ayrılmış hızlandırıcılardan faydalanarak—vurgulamektedir; anlamı M1 Pro için oluşturulmuş herhangi bir Metal‑optimize edilmiş SSD‑streamed çıkarım yığını, potansiyel olarak diğer Apple Silicon cihazlarına genişletilir; donanım tabanını genişletir.[13][19] Bununla birlikte, işletmenin Apple'ın Intel‑tabanlı uygulama desteğine ilişkin gelişen politikalarını (gelecekteki bir macOS sürümünde sona ermesi planlanan Rosetta aracılığıyla) gezinmesi ve alet setinin Intel çevirisi katmanlarına dayanmak yerine Apple Silicon için doğal olarak derlendiğinden emin olması gerekecektir; performans sağlarken veya gelecekteki uyumluluğu tehlikeye atabilir.[5][13] Genel olarak, işletme fikri cihaz üzerinde AI'ye doğru platform yörüngesi ile yayılır ancak Apple'ın kendi temel modellerinin ve API'lerinin standart bileşenler haline geldiği ve üçüncü taraf araçlandırmasının daha fazla model seçimi, kontrol ve SSD‑streamed MoE gibi gelişmiş teknik özellikler sunarak rekabet ettiği bir dünyaya önceden hazırlanması gerekecektir.[9][13][19] ## 2. Teknoloji ve Kullanım‑Vaka Ortamı ### 2.1 Qwen3.6‑35B‑A3B Yetenekleri ve Gereksinimleri Qwen3.6‑35B‑A3B, agentic kodlama, uzun‑ufuk muhakemesi ve çok‑modal anlayış gibi talep edici görevler için amaçlanan açık‑model ortamında yüksek uçta yer alır.[2][9] Qwen3.6‑35B‑A3B için Hugging Face model kartı, bu yayının agentic kodlamada önemli iyileştirmeler sunduğunu ve ön uç iş akışlarının ve depo‑seviyesi muhakemenin daha akıcı işlemesini sağladığını tanımlar; bu kendi makinelerinde karmaşık kod tabanları ile çalışan geliştiriciler için özellikle ilgilidir.[9] Ayrıca "düşünme koruması" vurgulamaktadır; burada model varsayılan olarak düşünme modunda çalışır; nihai yanıtlardan önce dahili akıl yürütmeyi temsil etmek için `<think>…</think>` içeriği üretir; kullanıcılar görev gereksinimlerine bağlı olarak bu düşünme içeriğini korumayı veya bastırmayı seçebilir ve model yinelemeli geliştirme ve ajan senaryoları için genişletilmiş bağlamdan iyi kullanım yapması için tasarlanmıştır.[9] Modelin varsayılan bağlam uzunluğu 262.144 belirtec olup; RoPE ölçeklemesi gibi uzun‑bağlam teknikleri ile desteklenmiş görevleri; burada toplam giriş ve çıktı uzunluğu bu sınırı aşabilir; özel yapılandırmalarda potansiyel olarak 1.010.000 belirtece yaklaşır.[9] Böyle bir bağlam, tam depoları, belgeleme setlerini veya uzun‑çalışan konuşma geçmişlerini modele yüklemek isteyen geliştiriciler için değerlidir ancak aynı zamanda bellek ve hesaplama gereksinimlerini bileşke yapar; verimli KV önbelleği yönetimi ve akış stratejileri önemli yapar.[8][9] Donanım açısından, Qwen3.6‑35B‑A3B kuantize edilse bile talep ediğidir ve tipik dağıtımlar büyük VRAM'ye sahip çok GPU yapılandırmalarına veya bol belleğe sahip bulut örneklerine dayanır.[1][9] WillItRun.ai, önceki Qwen 3.5 35B A3B kuantizasyonunun 25.3 GB VRAM gerektirdiğini ve MacBook Pro M1 Pro 16GB'ın bu gibi iş yükleri için yalnızca 11.5 GB VRAM'ni ortaya çıkardığını; bu sınırlamayı aşmak için bu projenin çalıştığını vurgular.[1] Qwen3.6 erken Qwen modellerine kıyasla optimize edilmiş olsa da; KV önbellek kullanım iyileştirmelerini ve düşünme ve düşünme olmayan modlarda verimlilik dahil; model kartı hala karmaşık görevlerde düşünme yeteneklerini korumak için en az 128K belirtecinin bağlam penceresini koruması tavsiye eder; ağırlık ve önbellek arasında önemli bir bellek ayak izi ima eder.[9] Video anlayışı için, Qwen3.6 saat‑ölçekli videolar için 224k video belirtecine kadar desteklemek için video ön işleme parametrelerini ayarlamayı tavsiye eder; tekrar model'in tasarım hedefi olarak hafif yerel asistanlar için çok ötesinde uzun‑ufuk çok‑modal görevlerini vurgular.[9] Bu yetenekler iş önerisine doğrudan çevrilir: SSD‑streamed MoE aracılığıyla Qwen3.6‑35B‑A3B'yi 16 GB M1 Pro'da erişilebilir hale getirerek; proje ana akım geliştirici dizüstü bilgisayarlarına biraz sınırda akıl yürütme gücü ve kodlama getirerek; bulut API'lerine bağımlılık olmayan depo‑ölçekli kod incelemesi, tam geçmiş agentic hata ayıklama ve uzun‑bağlam simülasyon veya tasarım görevleri gibi iş akışlarını etkinleştirerek.[1][8][9][10] Bu, gizliliği yapılandırma sınırlamaları tarafından kısıtlanan duyarlı kod tabanları ile çalışan geliştiriciler için özellikle çekici olabilir

# "Show HN: Qwen3.6‑35B‑A3B on a 16 GB M1 Pro with SSD‑Streamed MoE" için Organik Talep Sinyalleri İncelenen iş fikri, SSD'den etkin olmayan uzman ağırlıklarını agresif bir şekilde akış yaparak, Apple Metal GPU API'lerini ve modern kuantizasyon ve önbelleğe alma tekniklerini kullanarak 16 GB M1 Pro MacBook gibi kısıtlı Apple Silicon donanımında Qwen3.6‑35B‑A3B gibi Qwen‑tarzı hibrit Mixture‑of‑Experts (MoE) modelleri çalıştırmayı yapmak ve potansiyel olarak ticari hale getirmek için optimize edilmiş bir çıkarım yığını oluşturmaya odaklanmış geliştirici‑odaklı bir çözümdür; ds4 yerel çıkarım motoru için Metal ve CUDA ile ilgili şekilde.[1][18] Temel önerme, birçok geliştirici ve güçlü kullanıcı, güçlü akıl yürütme, kodlama ve çok‑modal yeteneklere sahip yüksek kaliteli, açık ağırlık modellerini istemesi; ancak kişisel makinelerinde bellek sınırları, bağlam kısıtlamaları ve karmaşık araçlandırma tarafından engellenmesidir.[2][6][13][18] Bu rapor altı kanal—Reddit, Hacker News, Product Hunt, X/Twitter, SEO ve makro trendleri—arasında organik talep sinyallerini araştırır; mümkün olduğunda yalnızca 2024–2025 yıllarından doğrulanabilir örnekler kullanır ve herhangi bir boşluğu açıkça işaretler. Kanıt, Apple Silicon'da yerel büyük modelleri çalıştırmak, toplam parametre sayısını etkin hesaplama biriminden ayıran MoE mimarileri için artan heyecandan, SSD boşaltma ve kısmi yükleme konusunda ortaya çıkan ilgiden ve yerel LLM araçlandırması alanında birden çok bitişik başlatmanın etrafında açık hayal kırıklığını gösterir. Bununla birlikte, "16 GB M1 Pro'da Qwen‑sınıfı MoE SSD akışı" ile kesin kombinasyon eşleştiren doğrudan Reddit ve X/Twitter örnekleri sağlanan kaynaklarda doğrulanamamıştır ve güvenilir anahtar sözcük ses seviyesi verisi olmaması; bazı talep yönleri doğrudan nicelendirmek yerine bitişik sinyallerden çıkarılmak zorundadır.[2][3][6][8][15][16][18][19] ## İş Fikrini Anlamak için Teknik ve Pazar Bağlamı ### ds4 Engine, Qwen MoE Modelleri ve Apple Silicon Kısıtlamalarıdır Organik talepte anlamak için başlangıç noktası, önerilen "Show HN" ürün ne yaptığını ve neden farklılaşırılan anlamaktır. ds4 arkasındaki geliştirici için GitHub profili, andreaborio, ds4'ü "Flash yerel çıkarım motoru Metal ve CUDA için" tanımlar; bu, GPU'lar üzerine yerel büyük dil modeli çıkarımı için bir performans‑odaklı çalışma süresi; Apple Metal arka ucunu dahil eder.[1] Bu bağlamda "Flash" çıkarım motoru, tipik olarak FlashAttention'a benzer optimizasyonları ifade eder ve diğer bellek‑verimli dikkat uygulamalarını 16 GB M1 Pro makinelerinin kullanıcıları tarafından karşılaştığı sınırlamayı tam olarak verilen bellek bant genişliği ve kapasitesinde en iyi hale getirmek için tasarlanmıştır.[6][14] Metal ve CUDA'nın bahsetilmesi çok‑platform desteğini önerir ancak iş fikri açıkça Apple Silicon'a odaklanır; burada birleşik bellek ve SSD performansı belirli boşaltma stratejilerini geleneksel ayrı GPU sistemlerinden daha çekici kılar.[6][8][19] Fikir tarafından hedeflenen model ailesi, Qwen3.x‑35B‑A3B, Alibaba'nın açık ağırlıklı temel model serisinin bir parçasıdır; Qwen3.5‑35B‑A3B Hugging Face'de, vizyon‑dil‑yetenekli bir model; Gated Delta Networks ve sparse Mixture‑of‑Experts yönlendirmesini birleştiren hibrid bir mimari ile belgelenmiş modeldir.[13] Bu tasarım birleşik çok‑modal bir temel ortaya koymaktadır; muhtemelen daha önceki Qwen3 ve Qwen3‑VL modellerini akıl yürütme, kodlama, agentic davranış ve görsel anlama kriterlerinde maç etmek veya aşmakta; verimlilik koruyan.[13] Labellerr'den daha sonraki bir genel bakış, Qwen3.6‑35B‑A3B'yi 35 milyar toplam parametre ancak token başına yalnızca kabaca 3 milyar etkin parametreyle hibrid MoE modeli olarak tanımlar; bu tasarım büyük toplam kapasiteye izin verirken; token başına hesaplama ve bellek ayak izi kısıtlı donanım için yeterince düşük tutmaktadır.[18] İş açısından, bu "35B toplam, 3B etkin" yapısı çok önemlidir; anlamı dikkatlı yönlendirme ve boşaltma ile mütevazı RAM'ye sahip kullanıcılar geleneksel olarak çok daha büyük yoğun modellerle ilişkili kalite erişebilir.[15][18] Apple Silicon makineleri, talep yapan ayrı bir kısıtlama profili ortaya koymaktadır. 16 GB M1 Pro MacBook Pro, CPU, GPU ve Neural Engine arasında paylaşılan birleşik bir bellek havuzu; geleneksel VRAM'ye ayrı GPU yerine; bu ayrı GPU VRAM tavanlarını ortadan kaldırır ancak tek bir daha sıkı sistem‑geniş kapı ile değiştirir.[6][8] SitePoint'in 2026 kılavuzu yerel LLM'ler Apple Silicon'da, M1, M2 ve M3 çiplerinin birleşik bellek mimarisi tüketici bilgisayarları tarihsel olarak büyük‑model çıkarımını kısıtlamanın en büyük kısıtlamasını ortadan kaldırır; ancak aynı anda işletim sistemi ve arka plan işlemleri hala o birleşik havuzun önemli bir fraksiyonunu tüketmesi konusunda uyarılar.[6] Aynı kılavuz, 16 GB M1 Pro MacBook Pro'da yerel LLM'ler için tavsiyelere, hafif Qwen modelleri gibi Qwen 3.5 9B, Qwen 3 8B ve Qwen 3.5 4B gibi en iyi seçenekler; kodlama, sohbet ve yazı için vurgulamaktadır; bellek kısıtlamaları nedeniyle 35B‑sınıfı modelleri çalıştırma girişimi yapılmamaktadır.[10]