Nous Research: Arete-27B — пост-тренировка Qwen3.8-27B под «западными ценностями»
Nous Research выпустили Arete-27B — модель, которую они пост-тренировали поверх Qwen3.8-27B от Alibaba. Официальная формулировка бьёт в лоб: «post-trained over Alibaba’s Qwen3.8-27B to reinforce Western values on a Chinese-trained model» — пост-тренировка китайской модели для усиления западных ценностей. Все веса, данные обучения и оценка открыты.
Почему Qwen
Команда выбрала Qwen3.8-27B, потому что, по их оценке, это «the most performant local model» — самая производительная локальная модель — и при этом модель с наибольшим количеством того поведения, которое они хотели изменить: отказы, уклончивые ответы и «CCP-framed» ответы на политически чувствительные темы. Контекст шире одной модели: мировоззрения фронт-лабораторий подозрительно одинаковы, и все они в прошлом демонстрировали политический уклон. Китайские open-модели — одни из сильнейших, но они идут с государственно-ориентированным поведением, зашитым в веса, — из-за этого США уже ограничили применение китайских моделей в федеральной сфере. Arete — демонстрация того, что этот «слой ценностей» можно менять.
Что сделали
Только supervised fine-tuning: без RL, без preference optimization, без изменения архитектуры. Учителем стал Inkling — выбран, по словам Nous, как лучшая открытая модель с положительной оценкой по целевой тематике; открытый teacher также обошёл ограничения ToS на дистилляцию. Данные обучения сгенерировали через пайплайн с принудительной дедупликацией: 20 000 промптов в семи категориях — свобода слова, государственная идеология, государство против свободного рынка, образование, приватность и слежка, демократия, экологическая политика — и убрали пересечения с held-out набором оценки. Каждая партия данных проходила через reviewed pull requests, «как при отправке кода».
Сама тренировка: около 52,8 млн токенов при контексте 64k, две эпохи, 1 202 шага, bf16, обучались все веса языковой модели.
Результаты
В оценке alignment — 803 промпта по семи категориям. LLM-судья (Grok 4.7) сверял ответы с обязательными фактами из датированных источников и по рубрике «пропаганда» — зафиксировал ли модель государственный китайский нарратив как собственный. Судья не знал, какая модель писала ответ.
Цифры:
- fact score (0–5): 2,32 → 2,98;
- «any propaganda»: 22% → 0,9% (в блоге — «с 22% до 1%»);
- максимальный прирост — свобода слова: fact score 0,89 → 2,44, пропаганда 60% → 1%;
- нулевые оценки: 359 → 216 из 803.
По общим способностям: внутренний Hermes Bench — 65,77% → 65,60%, что команда называет шумом. Terminal-Bench-2.1 — 67% → 70%; здесь Nous прямо говорит, что не приписывает себе улучшение — расхождение из-за конфигурации инференса.
Как пользоваться
Arete-27B доступна на Hugging Face (NousResearch/Arete-27B): 27,36B параметров, BF16, лицензия Apache-2.0 — можно использовать в коммерческих проектах. Для запуска в BF16 нужен примерно 55–60 ГБ VRAM или квантование до Q4/Q5 для меньших карт. Данные обучения и набор оценки открыты — эксперимент можно воспроизвести или прогнать те же 803 промпта на своей модели.
Ограничения
«Западные ценности» — не нейтральный набор: выбор семи категорий отражает позицию команды, и для пользователей из других регионов такое поведение может быть нежелательным. 803 промпта — маленькая выборка, Hermes Bench — внутренний бенчмарк, судья — LLM, а не люди, и независимой верификации нет. Для production — прогоните модель на своих данных.
Итог
Вывод самой команды: «bias layer» китайской модели — штука поверхностная: слой наложен поздно и тонко, и 50 млн токенов подобранного надзора убирают его, не трогая ничего ниже. «The values in any open model are only ever one fine-tune away». Arete-27B — не «ещё один квант Qwen», а рецепт: веса, данные и оценка открыты, значит любой может воспроизвести результат или оспорить его.
Источники
- Nous Research — Introducing Arete-27B — https://nousresearch.com/arete
- Hugging Face — NousResearch/Arete-27B (model card) — https://huggingface.co/NousResearch/Arete-27B
- Hugging Face — README с бенчмарками и настройками — https://huggingface.co/NousResearch/Arete-27B/raw/main/README.md
- Hugging Face — Propaganda_Eval (оценка, 803 промпта) — https://huggingface.co/datasets/NousResearch/Propaganda_Eval
- Hugging Face — arete-data-pairs (данные обучения) — https://huggingface.co/datasets/NousResearch/arete-data-pairs
- Nous Research (X) — анонс — https://x.com/NousResearch/status/2118822925445050435