Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations
Abstractの概要
本論文は、画像認識において、ラベルを保持する幾何学的変換の下で一貫した根拠に基づく推論を強制することを目的とした、アノテーション不要のアトリビューション（属性）正規化フレームワークを提案している。この手法は、勾配ベースの顕著性マップを整列させる代わりに、候補領域のサブセットがモデルの出力にどう影響するかを測定する画像領域上の劣モジュラ探索から教師信号を導出し、コンパクトでクラス制約のある根拠のシーケンスを生成する。この離散的な探索プロセスを学習可能にするため、変換後画像の根拠選択軌跡を元のクエリシーケンスと一致させる、経路一貫性と終端停止コンポーネントを備えた劣モジュラランキング損失（Submodular Ranking Loss）を導入している。さらに、学習パイプラインでは、正しく分類され、信頼度が高く、コンパクトな属性をフィルタリングすることで、正規化シグナルをより信頼性の高いモデルの振る舞いに結びつけている。
新規性
最大の新規性は、忠実性が限定的な勾配ベースのヒートマップによる一貫性を強制するのではなく、探索ベースで意思決定に直結した属性を正規化の自己教師信号として使用した点である。第二の重要な貢献は微分可能な劣モジュラランキング損失であり、これにより最終的な属性集合だけでなく、幾何学的変換下での中間の領域選択経路や停止基準も正規化される。
成果
ImageNet-100の実験において、ViT-B/16モデルにおける属性の安定性を0.14から0.27に改善、Insertionスコアを0.4496から0.6840に引き上げ、Deletionスコアを0.1363から0.0515に下げつつ、精度の低下をわずか0.28ポイントに抑えた（ViT-L/16でも同様の属性向上を達成）。ImageNet-1Kでは、変換入力時の平均精度をResNet-50で0.55ポイント、ConvNeXt-Bで0.33ポイント向上させ一方で、クリーンな画像の精度低下はそれぞれ0.12ポイントと0.30ポイントに制限した。またViT-Bの実験では、分布内、破損データ、ObjectNet、および複数のOOD（分布外）ベンチマーク全体で競争力のある、または最高のパフォーマンスを示した。
論文の注目点
- 本フレームワークは、勾配ベースの顕著性よりも忠実な根拠の取得を目指し、モデル出力の変化を明示的に探る劣モジュラ領域探索から属性の教師情報を構築する。
- 提案された劣モジュラランキング損失は、空間的に対応する領域選択の軌跡を揃え、幾何学的変換後も一致する探索停止挙動を強制する。
- 実験結果から、通常の画像における精度の低下をわずかなトレードオフに抑えながら、属性の安定性、忠実性、コンパクトさの大幅な改善と、堅牢性およびOOD性能の強化が示された。