{ "modified": "2026-10-17", "notice": "Attributed translations of original project-page abstracts, methods and results. Clearly labeled Deepvizor notes are editorial additions. Source license is recorded per article.", "articles": [ { "slug": "article-ai-real-time-detection", "research": "DEIMv2", "format": "translation", "hero": "deimv2-sta", "source": "https://intellindust-ai-lab.github.io/projects/DEIMv2/", "paper": "https://arxiv.org/abs/2509.20787", "pdf": "https://arxiv.org/pdf/2509.20787", "code": "https://github.com/Intellindust-AI-Lab/DEIMv2", "originalName": "Real-Time Object Detection Meets DINOv3", "published": "2026-10-17", "modified": "2026-10-17", "licenseUrl": "https://www.gnu.org/licenses/gpl-3.0.html", "licenseName": "GPL-3.0", "authors": [ "Shihua Huang", "Yongjie Hou", "Longfei Liu", "Xuanlong Yu", "Xi Shen" ], "affiliations": "Intellindust AI Lab · Xiamen University", "ru": { "category": "РЕАЛЬНОЕ ВРЕМЯ / DEIMv2", "title": "Детекция объектов в реальном времени: DEIMv2 и DINOv3", "description": "Перевод исследования DEIMv2: DINOv3, пространственный адаптер STA и восемь размеров модели. Как сопоставлять качество детекции и вычислительные затраты.", "summary": "Как совместить признаки большой модели с быстрым детектором. Перевод DEIMv2: архитектура, адаптер STA и результаты на COCO.", "lead": "Быстрый детектор должен одновременно замечать детали сцены и укладываться в вычислительный бюджет. В DEIMv2 знания DINOv3 соединены с архитектурой для устройств разной мощности — от GPU до компактных вычислителей.", "takeaway": "DEIMv2 — семейство из восьми размеров, а не одна универсальная модель. Адаптер STA объединяет контекст и локальные детали; компактные варианты используют другой базовый энкодер.", "figureTitle": "DEIMv2: DINOv3 и пространственный адаптер STA", "figureCaption": "Оригинальная схема DEIMv2. Фотография, направления связей и масштабы признаков сохранены. Подписи функциональных блоков переведены на русский." }, "en": { "category": "REAL-TIME DETECTION / DEIMv2", "title": "Real-time object detection: DEIMv2 meets DINOv3", "description": "DEIMv2 explained through its original project page: DINOv3, the spatial tuning adapter and eight model sizes. Compare detection quality and computational cost.", "summary": "Bringing foundation-model features to fast detection. DEIMv2 architecture, its spatial tuning adapter and COCO results.", "lead": "A fast detector needs both detailed image understanding and a manageable compute budget. DEIMv2 combines DINOv3 features with models spanning GPU, edge and mobile deployment.", "takeaway": "DEIMv2 is a family of eight sizes, not a single universal model. STA combines context with fine detail, while the smallest models use a different backbone.", "figureTitle": "DEIMv2: DINOv3 and the spatial tuning adapter", "figureCaption": "Original DEIMv2 diagram. The source photograph, connections and feature scales are preserved." }, "bibtex": "@article{huang2025deimv2,\n title={Real-Time Object Detection Meets DINOv3},\n author={Huang, Shihua and Hou, Yongjie and Liu, Longfei and Yu, Xuanlong and Shen, Xi},\n journal={arXiv},\n year={2025}\n}", "sections": [ { "ru": { "title": "Аннотация: восемь моделей для разных устройств", "paragraphs": [ "Простой и эффективный механизм Dense O2O позволил DEIM быстрее сходиться при обучении и улучшить результаты. В этой работе авторы расширяют подход признаками DINOv3 и получают DEIMv2. Семейство включает восемь размеров — от X до Atto — для GPU, периферийных и мобильных устройств.", "В вариантах X, L, M и S используются энкодеры, предобученные на DINOv3 или полученные дистилляцией. Пространственный адаптер Spatial Tuning Adapter, или STA, преобразует одномасштабный выход DINOv3 в многомасштабные признаки. Он дополняет сильное семантическое представление мелкими деталями, необходимыми для обнаружения объектов.", "Для сверхлёгких Nano, Pico, Femto и Atto авторы используют HGNetv2 с сокращением глубины и ширины. Это позволяет соблюдать жёсткие ограничения по ресурсам. Упрощённый декодер и обновлённый Dense O2O объединяют варианты в одну систему с разным соотношением качества и стоимости вычислений." ] }, "en": { "title": "Abstract: eight models for different devices", "paragraphs": [ "Dense O2O gave DEIM faster convergence and improved detection performance. The authors extend this recipe with DINOv3 features to create DEIMv2, spanning eight model sizes from X to Atto for GPU, edge and mobile deployment.", "X, L, M and S use DINOv3-pretrained or distilled backbones. The Spatial Tuning Adapter, or STA, transforms DINOv3’s single-scale output into multi-scale features and complements strong semantic representations with fine-grained detection details.", "Ultra-lightweight Nano, Pico, Femto and Atto use HGNetv2 with depth and width pruning to meet strict resource limits. A simplified decoder and upgraded Dense O2O combine these choices into a unified family with different performance–cost trade-offs." ] } }, { "ru": { "title": "Метод: контекст и детали на нескольких масштабах", "paragraphs": [ "На исходной схеме верхняя ветвь извлекает признаки DINOv3. Нижняя ветвь STA получает локальные детали через свёрточные операции и уменьшение пространственного разрешения. Узлы объединения связывают два представления.", "В результате формируются признаки с масштабами 1/8, 1/16 и 1/32 от исходного изображения. Схема справа раскрывает узел Bi-Fusion: билинейное изменение масштаба, объединение каналов и свёртку 1 × 1. Это пояснение к опубликованной архитектуре, а не отдельный эксперимент Deepvizor.", "Семантические признаки помогают определить, что находится в кадре. Более локальное представление даёт информацию о границах и небольших элементах. STA сохраняет оба типа информации перед последующими этапами детекции." ] }, "en": { "title": "Method: context and detail at several scales", "paragraphs": [ "The upper branch of the source diagram extracts DINOv3 features. The lower STA branch supplies local detail through convolutional operations and spatial downsampling. Fusion nodes connect the two representations.", "The resulting features have scales of 1/8, 1/16 and 1/32 relative to the input image. The Bi-Fusion detail shows bilinear resizing, channel concatenation and a 1 × 1 convolution. This explains the published architecture; it is not a separate Deepvizor experiment.", "Semantic features describe what is in the image, while local representations help locate boundaries and smaller elements. STA brings both types of information into downstream detection." ] } }, { "ru": { "title": "Результаты: качество и число параметров", "paragraphs": [ "DEIMv2-X достигает 57,8 AP при 50,3 млн параметров. Для DEIMv2-S авторы сообщают 50,9 AP при 9,71 млн параметров: это заявленный в работе переход рубежа 50 AP для модели меньше 10 млн параметров.", "У DEIMv2-Pico — 1,5 млн параметров и 38,5 AP. На странице сравнивается тот же AP у YOLOv10-Nano с 2,3 млн параметров. Ниже сохранены исходные значения для трёх вариантов, прямо названных в аннотации.", "AP — метрика детекции на исследовательском наборе COCO. Её нельзя читать как процент верно обработанных тревог на предприятии. График показывает соотношение AP и числа параметров, а не измеренную задержку на устройствах Deepvizor." ] }, "en": { "title": "Results: detection quality and model size", "paragraphs": [ "DEIMv2-X reaches 57.8 AP with 50.3 million parameters. DEIMv2-S achieves 50.9 AP with 9.71 million parameters, crossing the reported 50 AP threshold below 10 million parameters.", "DEIMv2-Pico uses 1.5 million parameters and reaches 38.5 AP. The source compares this AP with YOLOv10-Nano at 2.3 million parameters. The table preserves the three variants explicitly reported in the abstract.", "AP is a detection metric on the COCO benchmark, not the percentage of correctly handled industrial alarms. The chart compares AP with parameter count; it does not report latency on Deepvizor devices." ] }, "figure": "deimv2-params", "caption": { "ru": "Исходный график AP и числа параметров. Подписи осей переведены; кривые и значения сохранены.", "en": "Original AP-versus-parameters chart, with curves and values preserved." }, "customTable": { "title": "DEIMv2 · COCO · AP ↑", "headers": { "ru": [ "Модель", "Параметры, млн", "AP" ], "en": [ "Model", "Parameters, M", "AP" ] }, "rows": [ [ "DEIMv2-X", "50.3", "57.8" ], [ "DEIMv2-S", "9.71", "50.9" ], [ "DEIMv2-Pico", "1.5", "38.5" ] ] } }, { "ru": { "title": "Комментарий Deepvizor: как выбирать размер модели", "paragraphs": [ "Начинайте с требуемого события и условий камеры. Небольшой объект в дальнем углу кадра и крупный объект у прохода могут требовать разного разрешения входа и разного запаса качества. Одинаковое название алгоритма не гарантирует одинаковую нагрузку.", "При пилоте измеряйте задержку всей цепочки: получение видеопотока, декодирование, обработку, проверку правила и уведомление. Сравнивайте модели на одинаковом видео и целевом оборудовании. Объём памяти, формат вычислений и число параллельных камер важны наряду с количеством параметров." ] }, "en": { "title": "Deepvizor note: choosing a model size", "paragraphs": [ "Start with the target event and camera conditions. A small distant object and a large object near an entrance may require different input resolutions and quality margins. An algorithm name alone does not determine processing load.", "Measure the complete pipeline during a pilot: stream ingestion, decoding, inference, event rules and notification. Compare models on identical video and the intended hardware, considering memory, numerical precision and simultaneous camera count alongside parameters." ] } }, { "ru": { "title": "Оригинальная публикация и код", "paragraphs": [ "Код и предобученные веса опубликованы в репозитории DEIMv2. Ссылки на оригинальную страницу и полную научную работу находятся в начале статьи. Ниже — библиографическая запись авторов." ] }, "en": { "title": "Original paper and code", "paragraphs": [ "Code and pretrained weights are available in the DEIMv2 repository. The source project and full paper are linked above; the authors’ citation follows." ] }, "citation": true } ] }, { "slug": "article-ai-compact-vision-models", "research": "EdgeCrafter", "format": "translation", "hero": "edge-architecture", "source": "https://intellindust-ai-lab.github.io/projects/EdgeCrafter/", "paper": "https://arxiv.org/abs/2603.18739", "pdf": "https://arxiv.org/pdf/2603.18739", "code": "https://github.com/Intellindust-AI-Lab/EdgeCrafter", "originalName": "EdgeCrafter: Compact ViTs for Edge Dense Prediction via Task-Specialized Distillation", "published": "2026-10-17", "modified": "2026-10-17", "licenseUrl": "https://www.gnu.org/licenses/gpl-3.0.html", "licenseName": "GPL-3.0", "authors": [ "Longfei Liu", "Yongjie Hou", "Yang Li", "Qirui Wang", "Youyang Sha", "Yongjun Yu", "Yinzhi Wang", "Peizhe Ru", "Xuanlong Yu", "Xi Shen" ], "affiliations": "Intellindust AI Lab", "ru": { "category": "ЛОКАЛЬНЫЙ ИИ / EDGECRAFTER", "title": "Видеоаналитика на локальном устройстве: исследование EdgeCrafter", "description": "Перевод исследования EdgeCrafter: компактные трансформеры, дистилляция DINOv3, детекция, сегментация и оценка позы. Схемы и результаты COCO.", "summary": "Как большая модель передаёт знания компактной. Перевод EdgeCrafter: три этапа обучения, три задачи и результаты на COCO.", "lead": "У локального вычислителя ограничены память и производительность. EdgeCrafter исследует, как передать знания большой модели компактному трансформеру и использовать одно представление для нескольких задач зрения.", "takeaway": "Компактной модели нужны признаки, подготовленные под конкретную задачу. EdgeCrafter сначала специализирует учителя на детекции, затем передаёт знания небольшому энкодеру.", "figureTitle": "EdgeCrafter: архитектура ECDet", "figureCaption": "Оригинальная архитектура ECDet: энкодер ECViT, многомасштабные признаки и декодер. Снимки и связи сохранены, поясняющие подписи переведены." }, "en": { "category": "EDGE INTELLIGENCE / EDGECRAFTER", "title": "Video analytics at the edge: the EdgeCrafter study", "description": "EdgeCrafter project translation: compact vision transformers, DINOv3 distillation, detection, segmentation and pose estimation, with COCO results.", "summary": "Transferring knowledge from a large model to a compact one. EdgeCrafter’s three training stages, three vision tasks and COCO results.", "lead": "An edge computer has limited memory and processing capacity. EdgeCrafter investigates transferring a large model’s knowledge into a compact transformer and reusing its representations across vision tasks.", "takeaway": "Compact models benefit from task-specialized representations. EdgeCrafter specializes its teacher for detection before distilling knowledge into a small backbone.", "figureTitle": "EdgeCrafter: ECDet architecture", "figureCaption": "Original ECDet architecture: ECViT backbone, multi-scale features and decoder. Source photographs and connections are preserved." }, "bibtex": "@article{liu2026edgecrafter,\n title={EdgeCrafter: Compact ViTs for Edge Dense Prediction via Task-Specialized Distillation},\n author={Liu, Longfei and Hou, Yongjie and Li, Yang and Wang, Qirui and Sha, Youyang and Yu, Yongjun and Wang, Yinzhi and Ru, Peizhe and Yu, Xuanlong and Shen, Xi},\n journal={Transactions on Machine Learning Research},\n year={2026}\n}", "sections": [ { "ru": { "title": "Аннотация: что мешает компактным трансформерам", "paragraphs": [ "Развёртывание высокопроизводительных моделей плотного предсказания на периферийных устройствах затрудняют ограничения вычислений и памяти. Лёгкие системы детекции, сегментации экземпляров и оценки позы по-прежнему во многом опираются на свёрточные архитектуры, например YOLO. Компактным визуальным трансформерам часто сложнее достичь такого же баланса качества и эффективности даже после масштабного предобучения.", "Авторы связывают этот разрыв с недостаточным обучением небольших трансформеров представлениям, специфичным для задачи. В ответ предлагается EdgeCrafter — общая система компактных ViT для плотного предсказания. Её основа — ECDet с дистиллированным небольшим энкодером и архитектурой энкодера-декодера, рассчитанной на локальное выполнение.", "Сначала большой ViT, предобученный на DINOv3, адаптируют к детекции. Он становится специализированным учителем и передаёт представления компактным моделям на изображениях ImageNet-1K и COCO. Стандартное разбиение на патчи заменено лёгким свёрточным входным блоком, а многомасштабные признаки формируются интерполяцией и линейной проекцией вместо дорогих пирамид признаков.", "Полученное представление переносится на сегментацию экземпляров и оценку позы человека через лёгкие специализированные выходные модули. Так одна линия обучения признаков используется в нескольких задачах." ] }, "en": { "title": "Abstract: the challenge for compact transformers", "paragraphs": [ "High-performance dense prediction is difficult to deploy on edge devices with limited compute and memory. Lightweight detection, instance segmentation and pose estimation remain largely dominated by convolutional architectures such as YOLO, while compact ViTs often struggle to match their accuracy–efficiency balance even after large-scale pretraining.", "The authors attribute much of this gap to insufficient task-specific representation learning in small ViTs. EdgeCrafter is a unified compact-ViT framework centered on ECDet, combining a distilled small backbone with an edge-oriented encoder–decoder design.", "A large DINOv3-pretrained ViT is first adapted to detection and used as a task-specialized teacher. Knowledge is distilled into compact students using ImageNet-1K and COCO images. A lightweight convolutional stem replaces standard patch embedding, while interpolation and linear projection produce multi-scale features instead of costly pyramids.", "The detection-distilled representation transfers to instance segmentation and human pose estimation through lightweight task-specific modules, reusing one representation-learning recipe across tasks." ] } }, { "ru": { "title": "Три этапа: подготовить, передать, специализировать", "paragraphs": [ "Первый этап — подготовка учителя. Большой энкодер DINOv3 входит в детектор ECDet и обучается на размеченных данных детекции. На схеме обучаемые веса обозначены пламенем.", "Второй этап — дистилляция знаний. Учитель заморожен, что отмечено снежинкой, а небольшие энкодеры ECViT-T, T+, S и S+ обучаются на большом массиве изображений без разметки для этой стадии. Учитель передаёт представление сцены, подготовленное именно под детекцию.", "Третий этап — обучение под задачу. Для семейств S, M, L и X используются соответствующие данные: рамки объектов для ECDet, маски для ECInsSeg и ключевые точки человека для ECPose. Дистилляция не отменяет предметную разметку на финальном этапе." ] }, "en": { "title": "Three stages: prepare, distill, specialize", "paragraphs": [ "The first stage prepares the teacher. A large DINOv3 backbone is placed inside ECDet and trained using labeled detection data. A flame in the source diagram denotes trainable weights.", "The second stage distills knowledge. The teacher is frozen, marked by a snowflake, while compact ECViT-T, T+, S and S+ backbones learn from a large collection of images without labels for this stage. The transferred representation is already specialized for detection.", "The third stage trains the S, M, L and X families for their target tasks: object boxes for ECDet, instance masks for ECInsSeg and human keypoints for ECPose. Distillation does not remove the need for task annotations in final training." ] }, "figure": "edge-distill", "caption": { "ru": "Оригинальный процесс обучения EdgeCrafter: подготовка учителя → дистилляция → обучение под задачу. Схема переведена на русский.", "en": "Original EdgeCrafter training pipeline: teacher preparation, distillation and task-specific training." } }, { "ru": { "title": "Результаты: детекция, поза и сегментация", "paragraphs": [ "При использовании только разметки COCO модель ECDet-S достигает 51,7 box AP при числе параметров менее 10 млн. Для ECInsSeg-X указано 48,4 mask AP, для ECPose-X — 74,8 keypoint AP.", "Дополнительное предобучение на Objects365 требует больше вычислений, но улучшает результаты всех размеров. В вариантах X авторы сообщают 59,9 box AP, 49,8 mask AP и 75,9 keypoint AP. В каждой ячейке таблицы первое число относится к обучению только на COCO, второе — к варианту с Objects365.", "В таблицах скорости на оригинальном сайте используется NVIDIA T4, размер пакета 1, FP16 и TensorRT 10.6. Это описание конкретного протокола измерения, а не заявленная скорость на любой AI Box. Разные типы AP относятся к разным задачам, поэтому сравнивать box AP и keypoint AP напрямую некорректно." ] }, "en": { "title": "Results: detection, pose and segmentation", "paragraphs": [ "Using no task annotations beyond COCO, ECDet-S reaches 51.7 box AP with fewer than 10 million parameters. ECInsSeg-X reaches 48.4 mask AP and ECPose-X reaches 74.8 keypoint AP.", "Additional Objects365 detection pretraining is more compute-intensive but improves every scale. The X variants reach 59.9 box AP, 49.8 mask AP and 75.9 keypoint AP. Each table cell lists COCO-only AP first and AP with Objects365 second.", "The source latency tables use NVIDIA T4, batch size 1, FP16 and TensorRT 10.6. This is a specific measurement protocol, not a speed guarantee for every AI Box. Box, mask and keypoint AP evaluate different tasks and are not directly comparable." ] }, "customTable": { "title": "EdgeCrafter · COCO val2017 · COCO / +Objects365", "headers": { "ru": [ "Размер", "Детекция · box AP", "Поза · keypoint AP", "Сегментация · mask AP" ], "en": [ "Scale", "Detection · box AP", "Pose · keypoint AP", "Segmentation · mask AP" ] }, "rows": [ [ "S", "51.7 / 53.6", "68.9 / 69.7", "43.0 / 43.9" ], [ "M", "54.3 / 56.7", "72.4 / 73.1", "45.2 / 46.9" ], [ "L", "57.0 / 59.0", "73.5 / 74.5", "47.1 / 48.8" ], [ "X", "57.9 / 59.9", "74.8 / 75.9", "48.4 / 49.8" ] ] } }, { "ru": { "title": "Комментарий Deepvizor: три представления одной сцены", "paragraphs": [ "Детекция отвечает, где находится объект и к какому классу он относится. Сегментация выделяет его область по пикселям. Оценка позы даёт расположение ключевых точек человека. Эти представления полезны для разных правил, но сами по себе ещё не являются готовым событием.", "В промышленном сценарии результат модели нужно связать с зоной контроля, длительностью наблюдения и условиями срабатывания. На локальном устройстве важна также совместная нагрузка: декодирование видео, аналитика нескольких камер, запись событий и работа интерфейса. Проверяйте весь сценарий, а не только размер модели." ] }, "en": { "title": "Deepvizor note: three representations of one scene", "paragraphs": [ "Detection identifies an object class and its box. Segmentation delineates the object at pixel level. Pose estimation locates human keypoints. They support different rules, but none is an operational event on its own.", "Industrial scenarios connect predictions with zones, observation duration and trigger conditions. An edge computer must also handle decoding, multiple cameras, event storage and its interface. Evaluate the complete scenario rather than model size alone." ] } }, { "ru": { "title": "Первоисточник и библиографическая запись", "paragraphs": [ "Работа опубликована в TMLR 2026. Полная научная публикация, репозиторий и расширенные сравнительные таблицы доступны по ссылкам авторов. Ниже сохранена их библиографическая запись." ] }, "en": { "title": "Original publication and citation", "paragraphs": [ "Published in TMLR 2026. The full paper, repository and extended benchmark tables are available from the authors’ source links; their citation follows." ] }, "citation": true } ] }, { "slug": "article-ai-open-vocabulary-detection", "research": "OV-DEIM", "format": "translation", "hero": "ov-visual", "source": "https://wleilei.github.io/ov-deim-project-page/", "paper": "https://arxiv.org/abs/2603.07022", "pdf": "https://arxiv.org/pdf/2603.07022", "code": "https://github.com/wleilei/OV-DEIM", "originalName": "OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation", "published": "2026-10-17", "modified": "2026-10-17", "licenseUrl": "https://creativecommons.org/licenses/by-sa/4.0/", "licenseName": "CC BY-SA 4.0", "authors": [ "Leilei Wang", "Longfei Liu", "Xi Shen", "Xuanlong Yu", "Ying Tiffany He", "Fei Richard Yu", "Yingyi Chen" ], "affiliations": "Intellindust AI Lab · Guangdong Laboratory of AI and Digital Economy (SZ) · Shenzhen University · Carleton University · Institute for Research in Biomedicine", "ru": { "category": "ОТКРЫТЫЙ СЛОВАРЬ / OV-DEIM", "title": "Поиск объектов по текстовому описанию: как работает OV-DEIM", "description": "Перевод исследования OV-DEIM: детекция с открытым словарём, визуально-текстовое сопоставление, GridSynthetic и исходные таблицы LVIS и COCO.", "summary": "Не ограничиваться жёстким списком классов: как OV-DEIM связывает изображение с текстом и что показывают эксперименты на редких категориях.", "lead": "На реальном объекте перечень интересующих предметов может меняться. OV-DEIM исследует детекцию с открытым словарём: модель сопоставляет изображение с текстовыми представлениями классов и сохраняет архитектуру детектора реального времени.", "takeaway": "Открытый словарь расширяет способ задания классов, но не гарантирует распознавание любого предмета. В OV-DEIM важны совместное представление изображения и текста, отбор запросов и качество обучающих данных.", "figureTitle": "OV-DEIM: примеры детекции с открытым словарём", "figureCaption": "Оригинальные результаты zero-shot детекции на LVIS. Переведены подписи кадров; рамки, названия классов и оценки внутри изображений оставлены как исходный выход модели." }, "en": { "category": "OPEN-VOCABULARY DETECTION / OV-DEIM", "title": "Finding objects with text: how OV-DEIM works", "description": "OV-DEIM project translation: open-vocabulary detection, vision–language alignment, GridSynthetic augmentation and original LVIS and COCO tables.", "summary": "Beyond a fixed class list: how OV-DEIM links images with text, including experiments on rare categories.", "lead": "The set of objects that matter at a site may change. OV-DEIM studies open-vocabulary detection, matching image features with textual class representations within a real-time detector architecture.", "takeaway": "Open vocabulary expands how categories are specified; it does not guarantee recognition of every object. OV-DEIM relies on vision–text alignment, query selection and training data quality.", "figureTitle": "OV-DEIM: open-vocabulary detection examples", "figureCaption": "Original zero-shot detection on LVIS. Boxes, class names and scores inside the images remain the original model outputs." }, "bibtex": "@misc{wang2026ovdeim,\n title={OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation}, \n author={Leilei Wang and Longfei Liu and Xi Shen and Xuanlong Yu and Ying Tiffany He and Fei Richard Yu and Yingyi Chen},\n year={2026},\n eprint={2603.07022},\n archivePrefix={arXiv},\n primaryClass={cs.CV},\n url={https://arxiv.org/abs/2603.07022}, \n}", "sections": [ { "ru": { "title": "Аннотация: детектор с открытым словарём", "paragraphs": [ "Детекция с открытым словарём в реальном времени важна для динамических сред, где модели должны распознавать большой и меняющийся набор категорий при строгих ограничениях задержки. Существующие подходы такого типа преимущественно построены на моделях семейства YOLO. Детекторы на основе DETR пока уступают по задержке, компактности и общему качеству.", "Авторы представляют OV-DEIM — сквозной детектор с открытым словарём в стиле DETR на основе DEIMv2. В его состав включено совместное моделирование изображения и языка. Лёгкая стратегия дополнения запросов улучшает Fixed AP, не снижая скорость инференса.", "Помимо архитектуры предложена аугментация GridSynthetic. Несколько обучающих примеров объединяются в структурированную сетку изображений. Модель за один проход видит больше сочетаний объектов и пространственных конфигураций. Это уменьшает отрицательное влияние шумных координат на ошибку классификации и улучшает семантическое различение, особенно для редких категорий." ] }, "en": { "title": "Abstract: an open-vocabulary detector", "paragraphs": [ "Real-time open-vocabulary detection is important in dynamic environments where a large, evolving set of categories must be recognized under strict latency constraints. Existing real-time approaches predominantly use YOLO-style models, while DETR-based alternatives lag in latency, compactness and overall performance.", "OV-DEIM is an end-to-end DETR-style open-vocabulary detector built on DEIMv2 with integrated vision–language modeling. A lightweight query supplement strategy improves Fixed AP without compromising inference speed.", "The authors also introduce GridSynthetic augmentation, composing multiple training samples into structured image grids. A single forward pass exposes the model to richer object co-occurrences and spatial layouts, mitigating the effect of noisy localization on classification loss and improving semantic discrimination, especially for rare categories." ] } }, { "ru": { "title": "Шесть компонентов архитектуры", "paragraphs": [ "Первый компонент — визуальный энкодер, извлекающий признаки изображения. Второй — гибридный энкодер для объединения признаков разных масштабов. Третий — текстовый энкодер, формирующий представление категорий, фраз или описаний.", "Четвёртый компонент отбирает объектные запросы с учётом текста. Пятый — декодер-трансформер, уточняющий выбранные запросы. Шестой — выходная часть, которая предсказывает координаты рамок и оценки соответствия изображения тексту.", "Сопоставление «один к одному» позволяет обходиться без NMS — подавления повторяющихся рамок отдельным этапом постобработки. Авторы связывают с этим устойчивость времени выполнения при увеличении словаря. Стратегия дополнения запросов добавляет кандидатов для оценки Fixed AP без дополнительной стоимости инференса в описанном протоколе." ] }, "en": { "title": "Six architectural components", "paragraphs": [ "The first component is an image backbone. The second is a hybrid encoder aggregating multi-scale features. The third is a text encoder representing categories, phrases or descriptions.", "The fourth component selects high-quality object queries conditioned on text. The fifth is a transformer decoder refining those queries. The sixth is a prediction head outputting box coordinates and vision–text alignment scores.", "One-to-one matching removes the separate NMS post-processing step. The authors associate this with inference that scales favorably with vocabulary size. Query supplementation adds candidates for Fixed AP evaluation without extra inference cost under the reported protocol." ] }, "figure": "ov-workflow", "caption": { "ru": "Оригинальная архитектура OV-DEIM. Русские подписи нанесены поверх исходной схемы; фотографии и математические обозначения сохранены.", "en": "Original OV-DEIM architecture. Source photographs, mathematical symbols and connections are preserved." } }, { "ru": { "title": "GridSynthetic: несколько сцен в одном обучающем примере", "paragraphs": [ "GridSynthetic формирует сетку из нескольких исходных изображений. Это аугментация обучающих данных, а не режим работы камеры или способ объединять видеопотоки при эксплуатации.", "На опубликованном графике показана ошибка GIoU, сглаженная экспоненциальным скользящим средним EMA. Авторы сообщают, что GridSynthetic последовательно даёт наименьшую ошибку на протяжении обучения. Их объяснение: более простая локализация помогает эффективнее использовать сигнал классификации.", "Улучшение обучения и скорость инференса — разные свойства. Результаты аугментации нужно оценивать по сопоставимому обучающему протоколу, а эксплуатационную задержку — на целевом вычислителе." ] }, "en": { "title": "GridSynthetic: several scenes in one training sample", "paragraphs": [ "GridSynthetic assembles several source images into an image grid. It augments training data; it is not a camera operating mode or a way to merge video streams during deployment.", "The published chart shows EMA-smoothed GIoU loss. The authors report that GridSynthetic consistently produces the lowest loss throughout training, explaining that easier localization supports more effective classification supervision.", "Training improvement and inference speed are different properties. Evaluate augmentation under comparable training protocols and deployment latency on the intended computer." ] }, "figure": "ov-loss", "caption": { "ru": "Исходные кривые ошибки GIoU. Подписи переведены; значения осей и траектории кривых сохранены.", "en": "Original GIoU loss curves, preserving axes, values and trajectories." } }, { "ru": { "title": "LVIS: редкие классы и условия измерения скорости", "paragraphs": [ "На LVIS minival модели OV-DEIM-S, M и L превосходят YOLOEv8-S, M и L по обычному AP на 2,0, 0,7 и 0,4 пункта соответственно. Авторы отдельно сообщают ускорение в 8,9, 6,4 и 5,4 раза на NVIDIA T4 относительно варианта сравнения с постобработкой NMS.", "В таблице YOLOE скорость записана двумя числами, например 216/18*: значение со звёздочкой включает NMS. Сравнение 161 FPS и 18 FPS даёт заявленное ускорение OV-DEIM-S; сравнивать его с 216 FPS как с тем же протоколом было бы неверно. Значения воспроизведены без изменения.", "Пары AP/AP Fixed — два режима оценки. Индексы r, c и f относятся к редким, обычным и частым категориям LVIS. OG означает Objects365v1, Cap4M — 4 млн пар изображения и текста из GLIP, G-20M — Grounding-20M. FPS измерены на NVIDIA T4 с TensorRT." ] }, "en": { "title": "LVIS: rare classes and the speed protocol", "paragraphs": [ "On LVIS minival, OV-DEIM-S, M and L exceed YOLOEv8-S, M and L by 2.0, 0.7 and 0.4 standard AP points. The authors separately report 8.9×, 6.4× and 5.4× speedups on NVIDIA T4 against the comparison that includes NMS.", "YOLOE speed is presented as a pair such as 216/18*, with the starred number including NMS. Comparing 161 FPS with 18 FPS gives the reported OV-DEIM-S speedup; comparing it with 216 FPS as the same protocol would be incorrect. Original values are reproduced unchanged.", "AP/AP Fixed pairs denote two evaluation settings. The r, c and f subscripts identify rare, common and frequent LVIS categories. OG is Objects365v1, Cap4M is GLIP’s four million image–text pairs, and G-20M is Grounding-20M. FPS was measured on NVIDIA T4 using TensorRT." ] }, "customTable": { "title": "OV-DEIM · LVIS minival · Zero-shot", "headers": { "ru": [ "Метод", "Энкодер", "Параметры", "Предобучение", "FPS", "AP / Fixed", "APr / Fixed", "APc / Fixed", "APf / Fixed" ], "en": [ "Method", "Backbone", "Params", "Pre-trained Data", "FPS", "AP/APFixed", "APr/APrFixed", "APc/APcFixed", "APf/APfFixed" ] }, "rows": [ [ "GLIP-T", "Swin-T", "232M", "OG", "-", "-/24.9", "-/17.7", "-/19.5", "-/31.0" ], [ "GLIPv2-T", "Swin-T", "232M", "OG,Cap4M", "-", "-/29.0", "-/-", "-/-", "-/-" ], [ "GDINO-T", "Swin-T", "172M", "OG", "-", "-/25.6", "-/14.4", "-/19.6", "-/32.2" ], [ "G1.5-Edge", "EfficientViT-L1", "-", "G-20M", "-", "-/33.5", "-/28.0", "-/34.3", "-/33.9" ], [ "YOLO-Worldv2-S", "YOLOv8-S", "13M", "OG", "-", "-/24.4", "-/17.1", "-/22.5", "-/27.3" ], [ "YOLO-Worldv2-M", "YOLOv8-M", "29M", "OG", "-", "-/32.4", "-/28.4", "-/29.6", "35.5" ], [ "YOLO-Worldv2-L", "YOLOv8-L", "48M", "OG", "-", "-/35.5", "-/25.6", "-/34.6", "-/38.1" ], [ "YOLOEv8-S", "YOLOv8-S", "12M", "OG", "216/18*", "25.7/27.9", "19.0/22.3", "25.9/27.8", "26.7/29.0" ], [ "YOLOEv8-M", "YOLOv8-M", "27M", "OG", "145/17*", "29.9/32.6", "23.6/26.9", "29.2/31.9", "31.7/34.4" ], [ "YOLOEv8-L", "YOLOv8-L", "45M", "OG", "103/17*", "33.3/35.9", "30.8/33.2", "32.2/34.8", "34.6/37.3" ], [ "YOLOEv11-S", "YOLOv11-S", "10M", "OG", "216/18*", "25.2/27.5", "19.3/21.4", "24.4/26.8", "26.7/29.3" ], [ "YOLOEv11-M", "YOLOv11-M", "21M", "OG", "151/18*", "30.5/33.0", "22.4/26.9", "30.4/32.5", "32.1/34.5" ], [ "YOLOEv11-L", "YOLOv11-L", "26M", "OG", "122/17*", "32.4/35.2", "25.6/29.1", "31.9/35.0", "34.1/36.5" ], [ "OV-DEIM-S", "ViT-T", "11M", "OG", "161", "27.7/29.6", "23.6/25.2", "28.1/30.2", "28.0/30.0" ], [ "OV-DEIM-M", "ViT-T+", "20M", "OG", "109", "30.6/32.6", "25.3/26.9", "30.2/31.5", "31.9/34.1" ], [ "OV-DEIM-L", "ViT-S", "36M", "OG", "91", "33.7/35.9", "34.3/36.8", "33.4/35.5", "34.0/36.0" ] ] } }, { "ru": { "title": "COCO: перенос без дообучения и линейная донастройка", "paragraphs": [ "Для COCO val2017 на странице отдельно приведены перенос без дообучения и linear probing. В режиме zero-shot OV-DEIM-S, M и L получают 40,8, 43,3 и 45,9 AP соответственно.", "Ниже сохранены все строки исходной таблицы и режим каждого сравнения. Столбцы AP50 и AP75 относятся к разным порогам пересечения рамок. Линейная донастройка не равнозначна переносу без дообучения, поэтому режим указан отдельным столбцом." ] }, "en": { "title": "COCO: zero-shot transfer and linear probing", "paragraphs": [ "The COCO val2017 comparison separates zero-shot transfer from linear probing. OV-DEIM-S, M and L achieve 40.8, 43.3 and 45.9 zero-shot AP respectively.", "Every original table row and its evaluation setting are preserved below. AP50 and AP75 use different bounding-box overlap thresholds. Linear probing is not equivalent to zero-shot transfer, so its protocol is shown explicitly." ] }, "customTable": { "title": "OV-DEIM · COCO val2017", "headers": { "ru": [ "Режим", "Метод", "Энкодер", "Параметры", "AP", "AP50", "AP75" ], "en": [ "Setting", "Method", "Backbone", "Params", "AP", "AP50", "AP75" ] }, "rowsByLanguage": { "ru": [ [ "Без дообучения", "YOLO-Worldv1-S", "YOLOv8-S", "13M", "37.6", "52.3", "40.7" ], [ "Без дообучения", "YOLO-Worldv1-M", "YOLOv8-M", "29M", "42.8", "58.3", "46.4" ], [ "Без дообучения", "YOLO-Worldv1-L", "YOLOv8-L", "48M", "44.4", "59.8", "48.3" ], [ "Линейная донастройка", "YOLOEv8-S", "YOLOv8-S", "12M", "35.6", "51.5", "38.9" ], [ "Линейная донастройка", "YOLOEv8-M", "YOLOv8-M", "27M", "42.2", "59.2", "46.3" ], [ "Линейная донастройка", "YOLOEv8-L", "YOLOv8-L", "45M", "45.4", "63.3", "50.0" ], [ "Линейная донастройка", "YOLOEv11-S", "YOLOv11-S", "10M", "37.0", "52.9", "40.4" ], [ "Линейная донастройка", "YOLOEv11-M", "YOLOv11-M", "21M", "43.1", "60.6", "47.4" ], [ "Линейная донастройка", "YOLOEv11-L", "YOLOv11-L", "26M", "45.1", "62.8", "49.5" ], [ "Без дообучения", "OV-DEIM-S", "ViT-T", "11M", "40.8", "56.3", "44.4" ], [ "Без дообучения", "OV-DEIM-M", "ViT-T+", "20M", "43.3", "60.2", "48.0" ], [ "Без дообучения", "OV-DEIM-L", "ViT-S", "35M", "45.9", "62.3", "49.9" ] ], "en": [ [ "Zero-shot transfer", "YOLO-Worldv1-S", "YOLOv8-S", "13M", "37.6", "52.3", "40.7" ], [ "Zero-shot transfer", "YOLO-Worldv1-M", "YOLOv8-M", "29M", "42.8", "58.3", "46.4" ], [ "Zero-shot transfer", "YOLO-Worldv1-L", "YOLOv8-L", "48M", "44.4", "59.8", "48.3" ], [ "Linear probing", "YOLOEv8-S", "YOLOv8-S", "12M", "35.6", "51.5", "38.9" ], [ "Linear probing", "YOLOEv8-M", "YOLOv8-M", "27M", "42.2", "59.2", "46.3" ], [ "Linear probing", "YOLOEv8-L", "YOLOv8-L", "45M", "45.4", "63.3", "50.0" ], [ "Linear probing", "YOLOEv11-S", "YOLOv11-S", "10M", "37.0", "52.9", "40.4" ], [ "Linear probing", "YOLOEv11-M", "YOLOv11-M", "21M", "43.1", "60.6", "47.4" ], [ "Linear probing", "YOLOEv11-L", "YOLOv11-L", "26M", "45.1", "62.8", "49.5" ], [ "Zero-shot transfer", "OV-DEIM-S", "ViT-T", "11M", "40.8", "56.3", "44.4" ], [ "Zero-shot transfer", "OV-DEIM-M", "ViT-T+", "20M", "43.3", "60.2", "48.0" ], [ "Zero-shot transfer", "OV-DEIM-L", "ViT-S", "35M", "45.9", "62.3", "49.9" ] ] } } }, { "ru": { "title": "Комментарий Deepvizor: текстовое описание нужно проверять на видео", "paragraphs": [ "Открытый словарь — способ задавать категории, а не обещание найти любой предмет по произвольной фразе. На результат влияют формулировка запроса, размер объекта, перекрытия и сходство предметов. В пилоте проверяйте и нужные объекты, и визуально похожие отрицательные примеры.", "Для внедрения важен путь от найденного объекта до проверяемого события: зона, направление, время присутствия и условия уведомления. Измеряйте качество итогового события на видео объекта: исследовательский AP и доля корректных тревог описывают разные задачи." ] }, "en": { "title": "Deepvizor note: validate text descriptions on real video", "paragraphs": [ "Open vocabulary describes how categories are specified; it is not a promise to find any object from any phrase. Wording, object size, occlusion and visual similarity affect results. A pilot should include both target objects and similar negative examples.", "Deployment also needs a path from detections to a verifiable event: zones, direction, duration and notification rules. Measure operational event quality on the site’s video: benchmark AP and the proportion of correct alarms evaluate different tasks." ] } }, { "ru": { "title": "Первоисточник и цитирование", "paragraphs": [ "Текст переведён с оригинальной страницы OV-DEIM. Ссылка на полную работу и исходный код приведена в начале; оригинальная библиографическая запись сохранена ниже." ] }, "en": { "title": "Source and citation", "paragraphs": [ "Translated from the original OV-DEIM project page. The full paper and source code are linked above, with the original citation below." ] }, "citation": true } ] } ] }