Поиск объектов по текстовому описанию: как работает OV-DEIM

Аннотация: детектор с открытым словарём

Детекция с открытым словарём в реальном времени важна для динамических сред, где модели должны распознавать большой и меняющийся набор категорий при строгих ограничениях задержки. Существующие подходы такого типа преимущественно построены на моделях семейства YOLO. Детекторы на основе DETR пока уступают по задержке, компактности и общему качеству.

Авторы представляют OV-DEIM — сквозной детектор с открытым словарём в стиле DETR на основе DEIMv2. В его состав включено совместное моделирование изображения и языка. Лёгкая стратегия дополнения запросов улучшает Fixed AP, не снижая скорость инференса.

Помимо архитектуры предложена аугментация GridSynthetic. Несколько обучающих примеров объединяются в структурированную сетку изображений. Модель за один проход видит больше сочетаний объектов и пространственных конфигураций. Это уменьшает отрицательное влияние шумных координат на ошибку классификации и улучшает семантическое различение, особенно для редких категорий.

Шесть компонентов архитектуры

Первый компонент — визуальный энкодер, извлекающий признаки изображения. Второй — гибридный энкодер для объединения признаков разных масштабов. Третий — текстовый энкодер, формирующий представление категорий, фраз или описаний.

Четвёртый компонент отбирает объектные запросы с учётом текста. Пятый — декодер-трансформер, уточняющий выбранные запросы. Шестой — выходная часть, которая предсказывает координаты рамок и оценки соответствия изображения тексту.

Сопоставление «один к одному» позволяет обходиться без NMS — подавления повторяющихся рамок отдельным этапом постобработки. Авторы связывают с этим устойчивость времени выполнения при увеличении словаря. Стратегия дополнения запросов добавляет кандидатов для оценки Fixed AP без дополнительной стоимости инференса в описанном протоколе.

Оригинальная архитектура OV-DEIM. Русские подписи нанесены поверх исходной схемы; фотографии и математические обозначения сохранены.

Открыть переведённую иллюстрацию ↗

GridSynthetic: несколько сцен в одном обучающем примере

GridSynthetic формирует сетку из нескольких исходных изображений. Это аугментация обучающих данных, а не режим работы камеры или способ объединять видеопотоки при эксплуатации.

На опубликованном графике показана ошибка GIoU, сглаженная экспоненциальным скользящим средним EMA. Авторы сообщают, что GridSynthetic последовательно даёт наименьшую ошибку на протяжении обучения. Их объяснение: более простая локализация помогает эффективнее использовать сигнал классификации.

Улучшение обучения и скорость инференса — разные свойства. Результаты аугментации нужно оценивать по сопоставимому обучающему протоколу, а эксплуатационную задержку — на целевом вычислителе.

Исходные кривые ошибки GIoU. Подписи переведены; значения осей и траектории кривых сохранены.

Открыть переведённую иллюстрацию ↗

LVIS: редкие классы и условия измерения скорости

На LVIS minival модели OV-DEIM-S, M и L превосходят YOLOEv8-S, M и L по обычному AP на 2,0, 0,7 и 0,4 пункта соответственно. Авторы отдельно сообщают ускорение в 8,9, 6,4 и 5,4 раза на NVIDIA T4 относительно варианта сравнения с постобработкой NMS.

В таблице YOLOE скорость записана двумя числами, например 216/18*: значение со звёздочкой включает NMS. Сравнение 161 FPS и 18 FPS даёт заявленное ускорение OV-DEIM-S; сравнивать его с 216 FPS как с тем же протоколом было бы неверно. Значения воспроизведены без изменения.

Пары AP/AP Fixed — два режима оценки. Индексы r, c и f относятся к редким, обычным и частым категориям LVIS. OG означает Objects365v1, Cap4M — 4 млн пар изображения и текста из GLIP, G-20M — Grounding-20M. FPS измерены на NVIDIA T4 с TensorRT.

COCO: перенос без дообучения и линейная донастройка

Для COCO val2017 на странице отдельно приведены перенос без дообучения и linear probing. В режиме zero-shot OV-DEIM-S, M и L получают 40,8, 43,3 и 45,9 AP соответственно.

Ниже сохранены все строки исходной таблицы и режим каждого сравнения. Столбцы AP50 и AP75 относятся к разным порогам пересечения рамок. Линейная донастройка не равнозначна переносу без дообучения, поэтому режим указан отдельным столбцом.

Комментарий Deepvizor: текстовое описание нужно проверять на видео

Открытый словарь — способ задавать категории, а не обещание найти любой предмет по произвольной фразе. На результат влияют формулировка запроса, размер объекта, перекрытия и сходство предметов. В пилоте проверяйте и нужные объекты, и визуально похожие отрицательные примеры.

Для внедрения важен путь от найденного объекта до проверяемого события: зона, направление, время присутствия и условия уведомления. Измеряйте качество итогового события на видео объекта: исследовательский AP и доля корректных тревог описывают разные задачи.

Первоисточник и цитирование

Текст переведён с оригинальной страницы OV-DEIM. Ссылка на полную работу и исходный код приведена в начале; оригинальная библиографическая запись сохранена ниже.

@misc{wang2026ovdeim,
      title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, 
      author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},
      year={2026},
      eprint={2603.07022},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.07022}, 
}