FSOD-VFM: обнаружение объектов по нескольким примерам

Аннотация

В работе представлен FSOD-VFM — подход к обнаружению объектов по небольшому числу примеров с использованием базовых моделей компьютерного зрения. Он объединяет универсальную сеть предложений UPN для построения рамок без привязки к категории, SAM2 для точного выделения масок и признаки DINOv2 для адаптации к новым классам объектов.

Несмотря на хорошую обобщающую способность базовых моделей, рамки UPN часто оказываются чрезмерно раздробленными: они охватывают лишь часть объекта. Вместо точного обнаружения целого объекта возникают многочисленные небольшие ложноположительные предложения.

Для решения этой проблемы авторы предлагают графовый метод перераспределения оценок уверенности. Предсказанные рамки становятся узлами ориентированного графа, а графовая диффузия распространяет оценки между ними. Целые объекты получают более высокую уверенность, локальные фрагменты — более низкую. Это улучшает размерную целостность обнаружений и уменьшает число ложных рамок.

Эксперименты на Pascal-5, COCO-20 и CD-FSOD показывают преимущество метода без дополнительного обучения. На междоменном CD-FSOD результат в режиме 10-shot составляет 31,6 AP против 21,4 AP у предыдущего метода без дообучения. Код и предобученные веса опубликованы авторами.

Метод: от опорного примера к целому объекту

Опорный пример задаёт новый класс, а изображение-запрос содержит объекты, которые нужно найти. UPN предлагает рамки на запросе; SAM2 строит маски; DINOv2 извлекает признаки выделенных областей. Признаки опорного объекта формируют прототип класса, с которым сопоставляются предложения.

Если похожая область — лишь деталь нужного объекта, одного сходства признаков недостаточно. Граф связывает предложения и перераспределяет оценки с учётом отношений между областями. На исходной схеме этот этап расположен между сопоставлением с прототипом и окончательными рамками.

ВходРезультатЗапросОпорный примерПредложения рамокПризнаки областиИзвлечение признаков областиСопоставление запросаПрототип классаГрафовая диффузияСлабая связьСильная связь

Открыть исходную иллюстрацию ↗

Визуальные результаты и новые домены

Исходная иллюстрация сравнивает опорные примеры и обнаружения в нескольких доменах: животные, рисованные сцены, аэросъёмка, рыбы, промышленные дефекты и подводные объекты. Рамки показывают реальные предсказания исследования, а не демонстрационную разметку Deepvizor.

Обозначения классов в исходных кадрах: Hemiptera — полужесткокрылые; bus — автобус; vehicle — транспортное средство; patches — пятна; inclusion — включение; scallop — гребешок; sea urchin — морской ёж; sea cucumber — голотурия. Названия наборов данных сохранены для сопоставления с оригиналом.

Один примерРезультатОдин примерРезультат

Открыть исходную иллюстрацию ↗

Pascal: обнаружение новых классов

Таблица содержит все строки исходного сравнения для трёх разбиений новых классов и 1, 2, 3, 5 и 10 опорных примеров. nAP50 — средняя точность на новых классах при пороге IoU 0,5. Чем выше значение, тем лучше. «Донастройка» означает дополнительное обучение детектора в этом сравнении.

COCO: точность при разных порогах перекрытия

Приведены результаты для 10 и 30 примеров на класс. nAP оценивает новые классы по нескольким порогам IoU, nAP50 и nAP75 — при порогах 0,5 и 0,75. У FSOD-VFM результат nAP составляет 44,0 для 10-shot и 45,8 для 30-shot.

CD-FSOD: перенос между доменами

В каждой ячейке последовательно указаны результаты для 1 / 5 / 10 примеров. Средние значения FSOD-VFM — 25,3 / 31,3 / 31,6 AP. Последнее значение превышает результат прежнего метода без дообучения на 10,2 пункта AP. Это разница абсолютных значений метрики, а не процент роста точности системы.

Эти результаты относятся к условиям научного эксперимента. При применении алгоритма к камерам предприятия необходимо отдельно проверить классы, ракурсы, размеры объектов и освещение.

Связанная работа и цитирование

Связанная работа FT-FSOD рассматривает донастройку и параллельный декодер в междоменном обнаружении объектов по небольшому числу примеров. На странице FSOD-VFM также отмечено третье место команды NJUST-KMG в CVPR NTIRE 2026 CDFSOD Challenge на основе этого подхода. Это результат исследовательской команды.

Страница связанного исследования ↗

@inproceedings{feng2026fsod,
  title={FSOD-VFM: Few-Shot Object Detection with Vision Foundation Models and Graph Diffusion},
  author={Feng, Chen-Bin and Sha, Youyang and Liu, Longfei and Yu, Yongjun and Vong, Chi Man and Yu, Xuanlong and Shen, Xi},
  booktitle={ICLR},
  year={2026}
}