Molmo2 от Allen Institute: открытые модели, которые «указывают» на объекты в видео

Большинство ИИ-моделей умеют рассказать, что происходит на видео, но мало кто из них способен показать, где именно. Институт ИИ им. Эллен (Allen Institute for AI, Ai2) выпустил Molmo2 — семейство из трёх открытых зрительных языковых моделей, которые не только понимают изображения и видео, но и указывают на объекты координатами пикселей. На одном кадре, сразу на нескольких кадрах и со временем в ролике. Ai2 обещает позже открыть и код обучения, и промежуточные чекпоинты — пока доступны данные и веса. И — редкость — открыт не только результат, но и путь, которым он получен.

Что это такое и что значит «grounding»

Зрительная языковая модель (VLM) — это модель, которая «видит» картинки и видео и может говорить о том, что видит. Обычно ответ формулируется словами: «на дороге стоит красная машина». Для человека этого достаточно, но роботу нужна команда. Grounding — «привязка» — как раз про это: модель не просто сообщает, что объект есть, а возвращает его координаты — точку (x, y) на кадре или траекторию на протяжении всего видео. По словам Ai2, такой способности нет даже у многих закрытых моделей: они умеют описывать ролик, но не могут указать на что-либо внутри него.

Три модели

• Molmo2-8B — самая сильная в семействе. Построена на текстовой модели Qwen3-8B с «глазами» — зрительным бэкендом SigLIP 2. Лучшая для коротких видео, счёта объектов и описания картинок.
• Molmo2-4B — лёгкая версия: длинные видео на скромном железе.
• Molmo2-O-7B — полностью открытая версия: построена на модели Olmo 3 и обучена на открытых данных.

Что говорят цифры

В среднем по 15 академическим бенчмаркам Molmo2-8B набирает 63,1 балла, Molmo2-4B — 62,8. Для сравнения: GPT-5 — 70,6, Qwen3-VL-8B — 59,5, LLaVA-Video-7B — 52,7. В своём классе — открытых моделей с открытыми данными — 8B-модель лидирует в коротких видео, счёте и описании картинок.

В задачах «указания» отрыв ещё больше. При счёте объектов в видео Molmo2-8B показывает 35,5% точности против 29,6% у Qwen3-VL. На части задач она обгоняет и Gemini 3 Pro: указание на объекты в видео — 38,4 против 20,0 (метрика F1), отслеживание объектов между кадрами — 56,2 против 41,1 (метрика J&F).

Данные, а не только веса

Главный вклад Ai2 — не модель, а данные. Семейство обучено на девяти публичных датасетах: семь видео и два мульти-изображения. Среди них — датасет детальных описаний видео для предобучения, свободные видео-вопросы для дообучения, трекер объектов со сложными запросами и новый датасет «указаний». Все они доступны на Hugging Face. И главное — в обучении не использовались синтетические данные, сгенерированные закрытыми моделями (Gemini, GPT-4V и подобными). Это отличает Molmo2 от множества «открытых» моделей, которые на деле выжаты дистилляцией из закрытых: здесь можно проверить каждый шаг, следовать описанному в техническом отчёте рецепту обучения и поправить результат под свою задачу.

Лицензия — Apache 2.0, с оговоркой: исходные датасеты лицензированы на академическое и некоммерческое исследование.

Как попробовать

Модели уже поддерживаются в библиотеке transformers (версия 4.57.1 и выше) и в vLLM:

from transformers import AutoProcessor, AutoModelForImageTextToText

model_id = "allenai/Molmo2-8B"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    model_id, trust_remote_code=True, device_map="auto"
)

Нет собственного железа — есть готовая песочница: playground.allenai.org. Для продакшена модель можно поднять на vLLM как OpenAI-совместимый API.

Почему это важно

Для разработчиков роботов Molmo2 — готовый «глаз»: найти объект в кадре и отследить его во времени, не собирая свой конвейер с нуля. Для исследователей — воспроизводимый пример того, как строить зрительные модели полностью на открытых данных. А для рынка в целом — напоминание, что открытые модели догоняют закрытые уже не в словах, а в действиях: указывать, считать, отслеживать.

Источники

1. Hugging Face — карточка модели Molmo2-8B: https://huggingface.co/allenai/Molmo2-8B
2. Документация transformers — Molmo2: https://huggingface.co/docs/transformers/main/en/model_doc/molmo2
3. Ai2 — документация по моделям: https://docs.allenai.org/models/molmo2
4. Ai2 — анонс Molmo2: https://allenai.org/blog/molmo2
5. Коллекция датасетов Molmo2: https://huggingface.co/collections/allenai/molmo2-data