SURE+: совместная оценка надёжности классификации

Мотивация: ограничения одной оценки

Традиционные подходы не дают полной картины надёжности. Обнаружение ошибок классификации и обнаружение данных вне обучающего распределения (OOD) часто рассматривают отдельно. Оптимизация точности на знакомых данных (ID) или обнаружения OOD по отдельности затрудняет поиск хорошего баланса.

Сравнение обучения с перекрёстной энтропией (CE) и CutMix показывает проблему: CutMix улучшает обнаружение OOD, но совместная метрика DS-F1 у него ниже. Максимум поверхности DS-F1 составляет 0,565 для CE и 0,539 для CutMix. Оценка одного показателя могла бы привести к противоположному выводу.

Двойная оценка: DS-F1 и DS-AURC

Авторы предлагают Double Scoring (DS): две функции оценки и два порога принимают решение совместно. Одна функция оценивает знакомость входных данных, другая — надёжность предсказанного класса. Пример принимается, если проходит обе проверки.

DS-F1 учитывает и ошибочные классификации, и OOD-примеры. P — доля правильно классифицированных ID-примеров среди всех принятых; R — их доля среди всех ID-примеров. Метрика выбирает наибольшее гармоническое среднее по парам порогов.

DS-AURC расширяет оценку риска и покрытия на OOD. Она измеряет площадь под поверхностью риска при изменении доли принимаемых примеров по двум направлениям. Чем меньше DS-AURC, тем лучше совместная надёжность.

Интерактивная поверхность DS-F1

Поверхности построены по исходной сетке 50 × 50 из страницы проекта. Оси — порог τID для MSP и порог τOOD для KLM; высота — DS-F1. Перетаскивайте график, чтобы сменить ракурс, и переключайте стратегию обучения. Числа сохранены без пересчёта результатов.

CECutMix←→Сбросить вид

CE max: 0.565 · CutMix max: 0.539 · τID / MSP · τOOD / KLM

Сравнение методов обнаружения OOD

В исходной таблице сравниваются методы на CIFAR-100 с ResNet-18 и на ImageNet с DeiT-B. F1 и AURC используют одну оценку; DS-F1 и DS-AURC — две. Пары чисел относятся к Near-OOD / Far-OOD. Стрелки показывают желательное направление изменения метрики.

Точность ID: ResNet-18 — 77.32; DeiT-B — 81.79.

SURE+: четыре компонента обучения

SURE+ объединяет четыре компонента, чтобы повысить совместную надёжность и сохранить или улучшить точность классификации.

RegMixup — регуляризованное смешивание обучающих примеров для улучшения калибровки и устойчивости.

RegPixMix — регуляризованное смешивание на уровне пикселей, которое сохраняет смысловую информацию и повышает устойчивость.

F-SAM — Friendly Sharpness-Aware Minimization: поиск более плоских минимумов функции потерь для улучшения обобщения.

EMA(ReBN) — экспоненциальное скользящее среднее параметров с повторной нормализацией Batch Normalization для стабильного обучения.

Результаты: ResNet-18 на CIFAR-100

Приведены полные результаты DS-F1 и DS-AURC для стратегий обучения и методов последующей оценки уверенности. В ячейках указаны Near-OOD / Far-OOD; точность классификации — в отдельном столбце. Например, для SURE+ с MSP DS-F1 составляет 70,67 / 61,35, точность — 81,66. Числовые шкалы метрик сохранены как в источнике.

Результаты: DINOv3 на ImageNet-1K

Масштабные эксперименты используют DINOv3 ViT-L/16. Для SURE+ с MSP DS-F1 составляет 77,10 / 86,15, точность классификации — 88,49. Таблицы показывают, как меняется совместная надёжность при различных методах оценки уверенности.

Результаты получены на исследовательских наборах для классификации. Они не являются измерением точности тревог Deepvizor на конкретном предприятии: прикладной сценарий дополнительно включает обнаружение, временные правила и доставку события.

Связанная работа и цитирование

Предыдущая работа SURE — SUrvey REcipes for building reliable and robust deep networks — представлена на CVPR 2024. Она исследует рецепты построения надёжных и устойчивых нейросетей. Ниже приведена библиографическая запись SURE+ для корректного цитирования.

Страница связанного исследования ↗

@article{li2026from,
  title={From Misclassifications to Outliers: Joint Reliability Assessment in Classification},
  author={Li, Yang and Sha, Youyang and Wang, Yinzhi and Hospedales, Timothy and Hu, Shell Xu and Shen, Xi and Yu, Xuanlong},
  journal={arXiv preprint arXiv:2603.03903},
  year={2026}
}