Пока внимание индустрии приковано к дата-центрам, тихая революция происходит на другом конце спектра — в чипах для устройств, которые умещаются на ладони.
Меньше — не значит слабее
Ars Technica разбирает новое поколение специализированных ускорителей, которые запускают модели среднего размера прямо на устройстве без постоянного соединения с облаком. Ключевую роль сыграла не только архитектура кремния, но и методы сжатия моделей без заметной потери качества.
Производители смартфонов и носимых устройств уже анонсировали линейки с такими чипами на борту, делая ставку на приватность вычислений как на маркетинговое преимущество.
Экономика на периферии
Для многих сценариев локальный инференс оказывается дешевле облачного в пересчёте на запрос — особенно при постоянном использовании. Это меняет расчёты стартапов, которые раньше закладывали облачные API-издержки в саму модель ценообразования.
Новое поколение периферийных чипов позволяет запускать мощные модели прямо на устройстве. Это снижает издержки на инференс и делает приватность вычислений конкурентным преимуществом.
