# Звіт про конкурентну розвідку: Локальні платформи LLM, які конкурують з SSD-потоковим MoE на Apple Silicon Ніша, яку розглядає цей звіт, — це розвиваючийся ринок високопродуктивного локального великомовного-мовного-моделювання (LLM) умовиводу на споживацькому залізі, зокрема можливість запускати моделі, такі як **Qwen3.6‑35B‑A3B** або клас Mixture‑of‑Experts (MoE) DeepSeek‑4, на пристроях, як-то 16 GB M1 Pro MacBook, використовуючи потокміжу вагу з SSD замість традиційного завантаження повної RAM.[2][3][10] Проект ds4 для DeepSeek‑4 Flash та Pro демонструє, що з асиметричною квантизацією та потоковістю експертів SSD через `mmap`, вже можливо запускати 30–32 GB MoE моделей на системах з істотно меншою RAM, перетворюючи RAM на кеш для гарячих експертів і трактуючи SSD як розширення ієрархії пам'яті.[3][10] На цьому тлі кількох локальних платформ LLM — Ollama, LM Studio, Jan.ai, GPT4All (від Nomic AI) та Private LLM для пристроїв Apple — складають найнебезпечніших конкурентів, враховуючи їхній досяг, фінансування та позиціонування як стандартний вибір для розробників та користувачів конфіденційності, які хочуть локального умовиводу. Цей звіт надає глибоку конкурентну розвідку цих гравців, бенчмарки ціноутворення та готовності платити в цій нішеці та визначає розриви на ринку, яку продукт потокміжу MoE на базі SSD для Qwen3.6‑35B‑A3B на Apple Silicon міг би використовувати. ## 1. Контекст ринку: локальні LLM, потокміж MoE та Apple Silicon ### 1.1 Бізнес-ідея в технічних та ринкових термінах Бізнес-ідея, що лежить в основі цього дослідження — «Show HN: Qwen3.6‑35B‑A3B на 16 GB M1 Pro із потокміжу MoE на базі SSD» — знаходиться на перетині трьох тенденцій: відновлення напіввідкритих моделей, подібних Qwen3.6, дозрівання архітектури MoE та швидкого зростання локального інструментарію LLM для ноутбуків та робочих станцій.[2][3][10] Qwen3.6‑35B‑A3B є частиною лінійки Qwen 3.6, яка наголошує на агентичному кодуванні та довгоконтекстному аргументуванні, і розроблювачі явно рекомендують дуже довгі довжини виводу, аж до 32,768 токенів для більшості запитів та до 81,920 токенів для складних математичних та програмних завдань.[2] Цей рівень контексту в поєднанні з 35B параметрами та архітектурою A3B виходить за межі того, що прямолінійне завантаження в RAM може обробити на 16 GB M1 Pro, особливо якщо хтось хоче інтерактивну продуктивність, а не пакетний офлайн генерацію.[2][3] Архітектури MoE, зокрема маршрутизовані експерти з квантизацією, пропонують шлях до звілення розміру моделі та обмежень апаратури, активуючи лише підмножину експертів на токен та потокуючи неактивних експертів із зберігання за потребою.[3][10] Проект ds4 від antirez (Salvatore Sanfilippo) показує це конкретно для моделей DeepSeek‑4: потокміж SSD дозволяє розглядати доступну RAM не як жорсткий ліміт, а як континуум рівнів швидкості, з експертами маршрутизованого MoE, що зберігаються в кешу пам'яті, в той час як холодні експерти потокуються з диска за допомогою `mmap` на приблизно 0.5–1.5 GB/s залежно від апаратури.[3][10] На Windows ds4 копіює техніку, яка вперше була протестована на системах Apple Даніелем Айзаком, картуючи файл моделі безпосередньо у віртуальну пам'ять, щоб кеш сторінок операційної системи став «менеджером кешу експертів», кешуючи гарячі експерти в RAM та потокуючи холодні з SSD приблизно на 0.5–1.5 GB/s залежно від апаратури.[3] Під час експериментів це дозволило 32 GB Q4‑квантованій моделі MoE запускатися на системі 28 GB на 2.5–4 токена в секунду, тоді як не-потокова конфігурація була б неможливою.[3] Для Apple Silicon інструментарій, такий як `llama.cpp` та `llama-cpp-python`, вже підтримує розгрузку Metal GPU та GGUF квантовані моделі, дозволяючи малим та середнім моделям, як-то CodeLlama‑7B, ефективно запускатися на macOS, вказуючи `GGML_METAL=on` та установку `--n_gpu_layers` для прискорення GPU.[8] Однак основні платформи локальних LLM, як-то Ollama та LM Studio, наразі зосереджуються більше на статичних GGUF квантованих моделях та завантаженні уніфікованої пам'яті, а не на глибокому потокміжу експертів MoE на обмеженій RAM.[4][34] Це створює

# Розмір ринку та аналіз ризику для «Show HN: Qwen3.6‑35B‑A3B на 16 GB M1 Pro з потокміжу MoE на базі SSD» Цей звіт аналізує комерційний потенціал та профіль ризику бізнесу, побудованого навколо здатності запускати Qwen3.6‑35B‑A3B, велику модель mixture‑of‑experts (MoE), локально на MacBook Pro M1 Pro 16 GB, використовуючи потокміж на базі SSD та оптимізований для Metal умовивід Apple, позиціонований як проект з відкритим кодом «Show HN», який може розвиватися в продукт або компанію.[1][7][8][9] Основна ідея — використовувати потокміж експертів MoE ваги SSD, щоб модель, яка номіналізує більше, ніж 25 GB VRAM, може виконуватися на споживацьких Apple Silicon ноутбуках з лише 16 GB уніфікованої пам'яті, тим самим розблоковуючи можливості розумування та кодування високого класу для розробників та енергійних користувачів, які віддають перевагу або вимагають локального умовиводу.[1][8][9][10] Використовуючи доступні дані про ринку про генеративне ПО на основі AI, розходи на професійний розвиток, популяції розробників та апаратуру Apple Silicon, цей звіт будує сценарні оцінки "нижня вгору" загального адресного ринку (TAM), обслуговуваного адресного ринку (SAM) та обслуговуваного отримуваного ринку (SOM), в той час як явно сигналізує, де емпіричні дані відсутні та необхідні припущення.[14][15][16][17][18] Він також оцінює історичні докази про невдачу або зміну напрямку серед порівнюваних локальних‑LLM‑інструментарію проектів, розглядає регуляторний та юридичний ландшафт для умовиводу AI на пристрої та моделі розповсюдження, та опитує останні сигнали фінансування та конкурентні сигнали в суміжних доменах, таких як агенти на основі відкритої моделі, локальні платформи умовиводу та фундаментні моделі на пристрої.[11][12][14][19] Протягом всього часу аналіз наголошує, що ця ніша — потоквідний умовивід MoE на великих відкритих моделях на споживацькому Apple Silicon — дуже молода, з обмеженим прямим прецедентом, а отже, обидва висхідна та ризик необично високі, особливо щодо технічного виконання, прийняття розробником та конкурентних ходів більш великих конкурентів.[7][8][9][19] ## 1. Концепція та контекст бізнесу ### 1.1 Визначення запропонованої бізнес-ідеї Бізнес-ідея може бути резюмована як побудова та потенційна комерціалізація стеку умовиводу з відкритим кодом, дуже оптимізованого, який запускає Qwen3.6‑35B‑A3B локально на MacBook Pro M1 Pro з 16 GB уніфікованої пам'яті через потокміж ваги експертів MoE з швидкого NVMe SSD, використовуючи Metal GPU APIs Apple та сучасні методи квантизації та кешування.[1][7][8][9][19] Qwen3.6‑35B‑A3B — це велика, передова генеративна модель, розроблена командою Qwen компанії Alibaba, характеризована сильною продуктивністю на завданнях кодування та аргументування, довжиною контексту за замовчуванням 262,144 токена (з механізмами для натиснення понад 1 мільйон токенів через масштабування RoPE) та «режимом мислення», який випускає вміст внутрішнього ланцюга мислення перед заключними відповідями.[9] Варіант Qwen3.6‑35B‑A3B є моделлю mixture‑of‑experts, що означає, що він містить кілька підмереж експертів, чиї ваги значно сприяють загальному обсягу пам'яті моделі, чому типові розгортання GPU вимагають більше, ніж 25 GB VRAM і не є напрямно сумісним з 16 GB MacBook Pro M1 Pro.[1][8][9] WillItRun.ai документує, що Qwen 3.5 35B в A3B квантизації вимагає приблизно 25.3 GB VRAM і, отже, не може запуститися на MacBook Pro M1 Pro 16 GB, який пропонує близько 11.5 GB доступної GPU пам'яті, виділяючи обмеження апаратури, яке цей проект спрямований обійти через потокміж SSD та програмне інженерство.[1] Концепція потокміжу SSD MoE побудована на ідеях, проголошених MindStudio в її описі «SSD Streaming для AI моделей», де ваги моделей — зокрема ті експерти архітектури MoE — зберігаються на NVMe SSD, а не повністю в RAM, та лише активні експерти завантажуються в пам'ять під час потреб умовиводу на вимогу.[8] У дизайні MindStudio «Dwarf Star» компоненти не-експерти, такі як шари уваги, нормалізація шару та вагове маршрутизування, залишаються в RAM, в той час як ваги експертів, які складають більшість розміру моделі, розвантажуються на диск і отримуються за потребою, дозволяючи значно зменшити вимоги до RAM за счет деякої швидкості умовиводу.[8] Ця техніка дозволяє розробникам запускати більші моделі, ніж їхня система RAM інакше могла б дозволити, за умови, що вони мають достатньо швидкий SSD, в ідеалі PCIe 4.0 або краще з послідовною швидкістю читання близько 5,000–7,000 MB/s для підтримки ефективного prefetching.[8] Застосовуючи до Qwen3.6‑35B‑A3B на 16 GB M1 Pro, ідея полягає в тому, що ваги експертів для моделі MoE можуть потокуватися з SSD, в той час як маршрутизація, увага та інші спільні компоненти залишаються в межах обмеженої уніфікованої пам'яті, таким чином роблячи локальний умовивід осяжним попри великий параметр моделі та довжину контексту.[1][8][9] URL проекту, на який посилається запит, вказує на сховище GitHub, пов'язане з ds4, двигуном умовиводу, спочатку створеним для DeepSeek V4 Flash та оптимізованим для Metal API Apple, з ds4‑webui, представленим як мінімальний фронтенд та запускач Pinokio, що надає браузерний інтерфейс до сервера умовиводу лише на основі Metal.[6][7] Сховище ds4‑webui описує себе як «запускач Pinokio та автономний браузерний UI для antirez/ds4, вузького двигуна умовиводу лише для Metal для DeepSeek V4 Flash», наголошуючи, що він адаптований до користування на пристрої та Apple Silicon, дзеркалюючи акцент цієї ідеї бізнесу Qwen3.6.[7] Цей екосистема вказує на те, що вже існує технічна та громадська основа для двигунів умовиводу, оптимізованих для Metal, та проектів показу та розповідання в стилі HN, які згодом еволюціонують в більш відполіровані інструменти або платформи.[6][7][11] Запропонований бізнес, ймовірно, буде слідувати подібному шаблону: запуск як демонстрація з відкритим кодом «Show HN», що доводить, що Qwen3.6‑35B‑A3B може запускатися на 16 GB M1 Pro через потокміж MoE на базі SSD, далі дослідження монетизацію, як-то про розповсюджені профілювання, управлювані інсталятори, покращені можливості агента або підтримку підприємств для команд, що стандартизують локальні інструменти Qwen.[6][7][9][11][12] ### 1.2 Ключові диференціатори проти існуючих локальних інструментів LLM Для розуміння розміру ринку та профілю ризику, важливо розрізняти цю ідею від існуючих локальних платформ LLM, які вже підтримують Apple Silicon, але в основному мають на меті менші моделі або різні схеми використання.[10][11][12] WillItRun.ai, наприклад, веде рейтинги найкращих «Local LLM для MacBook Pro M1 Pro 16GB», рекомендуючи легші моделі Qwen, такі як Qwen 3.5 9B, Qwen 3 8B та Qwen 3.5 4B, як найкращі вибір для кодування, чату та письма на цьому залізі, без спроб запускати 35B‑масштабні моделі через обмеження пам'яті.[10] Це показує, що сьогоднішній основний досвід для розробника на 16 GB M1 Pro — це використовувати моделі параметрів 4–9B через платформи, як-то Ollama, LM Studio або Jan, а не натискати залізо для запуску 35B MoE моделей з мультисто-тисячотокенним контекстом вікна.[4][10][11][12] LM Studio позиціонує себе як «Bionic, агент для відкритих моделей, природно локальний, побудований для творчості, роботи та коду», наголошуючи на загальному шарі агента, який може оркеструвати різні відкриті моделі, але не обов'язково зосереджуючись на екстремальному розмірі моделі або інновацій потокміжу SSD на обмежених ноутбуках.[11] Jan.ai маркетує себе як «альтернатива з відкритим кодом ChatGPT», яка може запускати моделі AI з відкритим кодом локально або підключатися до хмарних моделей, як-то GPT та Claude, знову зосереджуючись на придатності та гібридній локально-хмарній зв'язності більше, ніж на сприянні дуже великих моделей MoE на залізі з обмеженнями ресурсів.[12] На відміну від цього, ідея потокміжу SSD Qwen3.6‑35B‑A3B спрямована на більш технічно передовану нішу: розробники, дослідники та енергійні користувачі, які хочуть близької до межі продуктивності та дуже довгих довжин контексту, але або віддають перевагу локальному умовиводу з причин конфіденційності або вартості, або просто насолоджуються натиском Apple Silicon апаратури на її межі.[1][8][9][10] По суті, це ближче за духом до ds4 та Dwarf Star, ніж до LM Studio або Jan.ai, пріоритизуючи дуже оптимізовані конвеєри умовиводу, прискорення Metal та архітектури потокміжу, з користувацьким інтерфейсом, що потенційно прибуває пізніше, оскільки технологія стабілізується.[7][8][11][12] Такий продукт міг би диференціювати себе, підтримуючи «режим мислення» у Qwen3.6, який зберігає контекст аргументування в історичних повідомленнях та використовує розширені вікна контексту для покращення агентичних робочих процесів кодування та аргументування репозиторію, щось явно виділене документацією Qwen3.6 як ключова можливість.[9] Для користувачів, залучених до інтенсивного кодування, фронтенд-робочих процесів та завдань симуляції у середовищі браузера, локальне розгортання Qwen3.6‑35B‑A3B на MacBook може бути дуже привабливим, особливо якщо поєднано з фреймворками агентів та стратегіями кешування, налаштованими для Apple Silicon.[2][9][11][19] ### 1.3 Взаємозв'язок із стратегією Apple щодо AI на пристрої Ідея також існує в межах більш широкого стратегічного середовища, в якому сама Apple значно інвестує в фундаментні моделі на пристрої, оптимізовані для Apple Silicon, тенденція, яка як підтверджує значення моделей LLM на пристрої, так і створює потенціальний конкурентний ризик.[19] Оновлення дослідження машинного навчання Apple описують фундаментну модель на пристрої, оптимізовану для ефективності та адаптовану спеціально для Apple Silicon, розраховану на забезпечення низьколатентного умовиводу з мінімальним використанням ресурсів, разом з більшими моделями на стороні сервера, які можуть доповнювати можливості на пристрої.[19] Це говорить про те, що Apple вважає, що є суттєва цінність в утриманні щонайменше частини умовиводу AI локальним, використовуючи GPU Apple Silicon та Neural Engine для надання приватних, низьколатентних досвідів, які не покладаються повністю на хмару.[13][19] Одночасно, ентузіазм Apple щодо моделей на пристрої піднімає можливість того, що майбутні версії macOS або Xcode могли б поставити вбудовані LLM та шари агента, зменшуючи потребу в стеках локального умовиводу третіх сторін у деяких сценаріях, або накладаючи нові обмеження платформи, які мусить навігувати інструментарій третіх сторін.[13][19] Для проекту Qwen3.6‑35B‑A3B потокміжу SSD MoE напрямок Apple змішаний сигнал: він вказує на чіткий попит користувачів та підтримку платформи для AI на пристрої, але він пропонує, що довгострокова диференціація може залежати від підтримки відкритих моделей, дуже спеціалізованих робочих процесів (як-то великоконтекстні агенти кодування) та міжплатформенних можливостей, яких власні моделі Apple можуть не пріоритизувати.[9][11][19] Документація Apple про Macs з Apple Silicon висвітлює широкий спектр моделей, від MacBook Air до Mac Pro, які розділяють ту ж фундаментальну архітектуру та користуються від уніфікованої пам'яті та спеціалізованих прискорювачів, що означає, що будь-який стек умовиводу потокміжу SSD, оптимізований для Metal, побудований для M1 Pro, потенційно може бути розширений на інші пристрої Apple Silicon, розширюючи базу апаратури.[13][19] Однак бізнес мусить навігувати через навчаючі політики Apple щодо підтримки програм на базі Intel через Rosetta, яке призначено закінчитися в майбутній версії macOS, та забезпечити, що інструментарій компілюється природно для Apple Silicon, а не покладається на шари трансляції Intel, які можуть скомпрометувати продуктивність або майбутню сумісність.[5][13] Загалом, бізнес-ідея узгоджується з напрямком платформи щодо AI на пристрої, але мусить передбачати світ, в якому власні фундаментні моделі та API Apple стають стандартними компонентами та інструментарій третіх сторін конкурують, пропонуючи більше вибору моделей, контролю та передових технічних функцій, як-то потокміж SSD MoE.[9][13][19] ## 2. Технічний та ландшафт сценаріїв використання ### 2.1 Можливості та вимоги Qwen3.6‑35B‑A3B Qwen3.6‑35B‑A3B займає вищий кінець ландшафту відкритої моделі, спрямований на вимогливі завдання, такі як агентичне кодування, довгогоризонтне аргументування та мультимодальне розуміння.[2][9] Карточка моделі Hugging Face для Qwen3.6‑35B‑A3B описує цей випуск як доставляючу суттєві поліпшення в агентичному кодуванні, дозволяючи більш вільну обробку фронтенд-робочих процесів та аргументування на рівні репозиторію, що особливо актуально для розробників, які працюють зі складними кодовими базами на своїх локальних машинах.[9] Він також наголошує на «збереженні мислення», при якому модель працює в режимі мислення за замовчуванням, виробляючи `<think>…</think>` вміст для представлення внутрішнього аргументування перед випуском заключних відповідей; користувачі можуть вибрати, щоб зберегти або придушити цей вміст мислення залежно від вимог завдання, та модель розроблена так, щоб добре використовувати розширений контекст для ітеративної розробки та сценаріїв агента.[9] Довжина контексту моделі за замовчуванням — 262,144 токена, з підтримкою довгоконтекстних методів, як-то масштабування RoPE, для обробки завдань, де загальна довжина входу та виводу може перевищити цей ліміт, потенційно наближаючись до 1,010,000 токенів у спеціалізованих конфігураціях.[9] Такий контекст цінний для розробників, які бажають завантажити повні сховища, набори документації або довгорядні історії розмов у модель, але він також посилює вимоги пам'яті та обчислень, роблячи ефективне управління кешем KV та стратегії потокміжу важливими.[8][9] З точки зору апаратури, Qwen3.6‑35B‑A3B є вимогливим навіть при квантизації, та типові розгортання покладаються на конфігурації з кількома GPU з великою VRAM або хмарними інстанціями з великою пам'яттю.[1][9] WillItRun.ai зауважує, що попередня квантизація Qwen 3.5 35B A3B вимагає 25.3 GB VRAM, перевищуючи практичну GPU пам'ять, доступну на MacBook Pro M1 Pro 16 GB, яка лише розкриває близько 11.5 GB VRAM таким робочим навантаженням.[1] Хоча Qwen3.6 було оптимізовано відносно більш ранніх моделей Qwen, включаючи поліпшення в утилізації кешу KV та ефективності в режимах мислення та без мислення, карточка моделі все ще радить утримувати щонайменше 128K контекст токена, щоб зберегти можливості мислення у складних завданнях, імплікуючи суттєвий обсяг пам'яті через ваги та кеш.[9] Для розуміння відео Qwen3.6 пропонує регулювання параметрів preprocessing відео для підтримки до 224k відеотокена для відео тривалістю годину, знову підкреслюючи дизайн цільової моделі довгогоризонтних мультимодальних завдань, які далеко виходять за межі сфери легких локальних помічників.[9] Ці можливості безпосередньо перекладаються у бізнес-пропозицію: роблячи Qwen3.6‑35B‑A3B доступним на 16 GB M1 Pro через потокміж MoE на базі SSD, проект приносить близько-межі можливості кодування та аргументування безпосередньо на основні розроблювачів ноутбуків, дозволяючи робочі процеси, такі як огляд коду в масштабі репозиторію, агентичне налагодження з повною історією та довгоконтекстні симуляції або завдання дизайну без покладання на хмарні API.[1][8][9][10] Це може бути особливо привабливим для розробників, які працюють із конфіденційними кодовими базами, які обмежені політиками конфіденційності