NewNewsЭнтузиаст запустил ИИ-модель на 28,9 млн параметров на микроконтроллере ESP32 за $10
Разработчик Слава Сербов (Slava S.) запустил языковую модель с 28,9 миллионами параметров на микроконтроллере ESP32-S3 стоимостью около $10. Модель работает полностью локально, без подключения к интернету.
Разработчик Слава Сербов (известный как Slava S. или slvDev) запустил языковую модель с 28,9 миллионами параметров на плате с микроконтроллером ESP32-S3, которая стоит около $10. Об этом сообщили несколько источников, в том числе iXBT, Хабр и Overclockers.
Детали проекта
По данным iXBT, проект называется ESP32-AI. Разработчик использовал всего 16 МБ флеш-памяти, а модель работает без подключения к интернету и облачным сервисам. Overclockers уточняет, что для размещения модели в 16 МБ памяти применялась техника Google Per-Layer Embeddings. Хабр добавляет, что сгенерированный текст выводится на небольшой дисплей.
«Не нужны ни гигабайты памяти, ни дорогущие ускорители: энтузиаст запустил ИИ-модель с 28,9 миллионами параметров на контроллере ESP32 за 10 долларов», — пишет iXBT.
Контекст
Запуск языковой модели на столь дешёвом и маломощном устройстве демонстрирует возможность работы ИИ без дорогостоящего оборудования. Подробности о производительности модели и её возможностях пока не раскрыты.
- Материал построен на 3 сообщениях открытых источников — все перечислены ниже.
- У каждого утверждения указано, кто именно его сообщил.
- Расхождения между источниками показаны, а не сглажены.
- Прогнозов и оценок редакции в новостных материалах нет.
Источники
- 1 ·
28 июля в 19:03 - 2 ·
27 июля в 16:50 - 3 ·
27 июля в 20:19