10 главных новостей ИИ за 14.10–15.10 — коротко о каждой.
Do Syntax Heads Influence Model Behavior? — Исследование показывает, что специализированные на синтаксисе головы внимания в трансформерных языковых моделях не играют решающей причинной роли в синтаксических предсказаниях: даже при принудительном переключении внимания на отвлекающее существительное предсказания модели чаще соответствовали подлежащему. Воздействие на такие головы сильнее влияло на синтаксические предсказания, чем на случайные, но лишь по одному из двух предложенных показателей. Источник
ИИ-модели запускаются, игры (не все) идут, но батарея садится быстро: первые тесты ноутбуков на Nvidia RTX Spark — Первые ноутбуки на платформе Nvidia RTX Spark для Windows on Arm поступят в продажу 16 октября и ориентированы на создателей контента и локальный запуск ИИ-моделей. Computer Base и Tom's Hardware протестировали Asus ProArt P16 и Microsoft Surface Laptop Ultra: ИИ-модели запускаются, часть игр работает, но батарея разряжается быстро. Источник
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition — Исследование показало, что при дистилляции признаков в компактных многоязычных системах распознавания речи два распространённых типа функций потерь не дают ожидаемого эффекта: градиент проекционной потери ортогонален целевому, а градиент CKA слабо с ним согласован, из-за чего улучшение на неанглийских языках достигается ценой ухудшения на английском. Предложенный метод CAFE ограничивает градиент CKA адаптерами, которые английский обходит, что снижает средний WER с 8,55% до 8,02% на Open ASR Leaderboard и превосходит контроль ёмкости только с адаптерами (8,51%). При 254 млн параметров модель отстаёт от учителя с 0,6 млрд параметров на 2 пункта W Источник
Meta launches an open-weight AI model that runs on Macs — Meta выпустила новую открытую модель Muse Spark Open, которая работает локально на компьютерах Mac с чипами Apple silicon. Запуск состоялся в партнёрстве с Apple. Источник
How Inner Optimizers Shape Replica Scaling — Исследование анализирует, как выбор внутреннего оптимизатора влияет на масштабирование реплик при обучении больших языковых моделей в распределённых вычислительных средах. Авторы выделяют два фактора — ковариационную структуру псевдоградиентов и влияние размера батча на масштаб их шума — и показывают теоретически и эмпирически, что предобусловливание на основе отбеливания (whitening) является ключевым требованием к внутреннему оптимизатору. Эксперименты на 8–96 репликах подтверждают, что такие оптимизаторы обеспечивают устойчивое масштабирование реплик, а их преимущество относительно DP растёт с увеличением числа параметров и объёма данных. Источник
Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models — Кривизна входных потерь (норма Фробениуса гессиана функции потерь диффузионной модели) позволяет отслеживать, когда модель начинает воспроизводить обучающие данные. Для оценки склонности отдельного примера к запоминанию авторы вводят контрфактическое определение запоминания, распространяя подход Фельдмана из обучения с учителем, и доказывают, что оно контролируется кривизной входных потерь leave-one-out модели, устанавливая теоретическую связь между локальным ландшафтом потерь и вероятностью генерации. Источник
Pre-Trained Language Models as Zero-Shot Tools for Social Science Research — Предварительно обученные языковые модели справляются с сопоставлением записей и определением этнической принадлежности по именам без специализированного обучения. Алгоритм EnsembleLink, использующий предобученные эмбеддинги вместе со строковыми оценками, достигает или превосходит результаты большинства прежних подходов и работает с письменностями и форматами, которые те обработать не могут. Большие языковые модели показывают до 83,8% точности при определении этнической принадлежности по именам в файлах избирателей США против 78,0% у BISG с дополнением по именам, а также позволяют определять религиозные, кастовые и другие группы за пределами США и снижают смещение в оценках географических расовых разрывов. Источник
Bluesky’s AI tool now lets you make games and apps to share on social — Bluesky расширила возможности своего AI-инструмента Attie, который изначально позволял создавать собственные ленты. Теперь с его помощью можно делать небольшие социальные приложения — игры, опросы и дашборды — и делиться ими с другими как отдельными сайтами. Об этом на TechCrunch Disrupt рассказал CEO Bluesky Тони Шнайдер. Источник
DUALVIEW: Leveraging Broad and Output-Specific Evidence for LLM-based Multi-Output Text Regression — Исследователи представили DualView — параметроэффективный метод для многоцелевой текстовой регрессии на основе больших языковых моделей. Подход извлекает из замороженной LLM широкие и специфичные для каждого выхода представления, а затем с помощью двухветвевой архитектуры формирует полный вектор оценок. На пяти разнородных задачах регрессии и восьми LLM (до 122B параметров) DualView превзошёл семь базовых методов обучения с учителем, используя в 82–1842 раза меньше обучаемых параметров, чем три сильнейших базлайна. Источник
Какую MoE-модель выбрать для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости — Автор протестировал несколько MoE-моделей (35B, 120B, 176B) на GTX 1080 Ti с 11 ГБ VRAM в задаче написания погодного сервера на Go: лучшей оказалась Qwen3.8-35B-A3B-Q4_K_M с 30 токенами/с и решением задачи за 15 минут, тогда как 176B-модель Qwen3.8-Flash-Next «думала» три часа. После замечаний в комментариях он дополнительно измерил перплексию на корпусах WikiText-2 и Go-кода и скорость генерации через llama-bench для двух пропущенных моделей и одной дополнительной — Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1. Источник