論文の概要: Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness

• arxiv url: http://arxiv.org/abs/2603.08309v2
• Date: Sun, 15 Mar 2026 05:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 13:51:29.006267
• Title: Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
• Title（参考訳）: コンセプトガイドによるファインチューニング:ロバストさを改善するために、すっきりした相関からViTを遠ざける
• Authors: Yehonatan Elisha, Oren Barkan, Noam Koenigstein,
• Abstract要約: 視覚変換器(ViT)は、しばしば急激な相関に依存するため、分布シフトによって劣化する。 概念レベルのセマンティクスに対する推論をモデル化する,新たなファインタニングフレームワークを提案する。 提案手法は,複数のViTモデル間のロバスト性を向上する。
• 参考スコア（独自算出の注目度）: 16.541207762213272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers (ViTs) often degrade under distribution shifts because they rely on spurious correlations, such as background cues, rather than semantically meaningful features. Existing regularization methods, typically relying on simple foreground-background masks, which fail to capture the fine-grained semantic concepts that define an object (e.g., ``long beak'' and ``wings'' for a ``bird''). As a result, these methods provide limited robustness to distribution shifts. To address this limitation, we introduce a novel finetuning framework that steers model reasoning toward concept-level semantics. Our approach optimizes the model's internal relevance maps to align with spatially grounded concept masks. These masks are generated automatically, without manual annotation: class-relevant concepts are first proposed using an LLM-based, label-free method, and then segmented using a VLM. The finetuning objective aligns relevance with these concept regions while simultaneously suppressing focus on spurious background areas. Notably, this process requires only a minimal set of images and uses half of the dataset classes. Extensive experiments on five out-of-distribution benchmarks demonstrate that our method improves robustness across multiple ViT-based models. Furthermore, we show that the resulting relevance maps exhibit stronger alignment with semantic object parts, offering a scalable path toward more robust and interpretable vision models. Finally, we confirm that concept-guided masks provide more effective supervision for model robustness than conventional segmentation maps, supporting our central hypothesis.
• Abstract（参考訳）: 視覚変換器(ViTs)は、意味論的に意味のある特徴ではなく、背景の手がかりのような急激な相関に依存するため、分布シフトの下で劣化することが多い。 既存の正規化メソッドは、通常単純な前景のマスクに依存しており、オブジェクトを定義する細粒度のセマンティックな概念(例えば、 ``long beak'' と ``wings'' を ``bird'' でキャプチャすることができない。 結果として、これらの手法は分布シフトに対して限られた堅牢性を提供する。 この制限に対処するために,概念レベルのセマンティクスに向けてモデル推論を推し進める,新しい微調整フレームワークを導入する。 提案手法はモデルの内部関係マップを最適化し,空間的に接地された概念マスクと整合する。 これらのマスクは手動のアノテーションなしで自動的に生成される: クラス関連の概念はまず LLM ベースのラベルフリーな手法を用いて提案され、次に VLM を用いてセグメント化される。 微調整の目的は、これらの概念領域との関係を一致させながら、同時に刺激的な背景領域への焦点を抑えることである。 特に、このプロセスは最小限のイメージのみを必要とし、データセットのクラスの半分を使用する。 5つのアウト・オブ・ディストリビューション・ベンチマークの大規模な実験により、本手法は複数のViTモデルにおけるロバスト性を向上させることが示された。 さらに、結果の関連性マップは、意味対象部分とのより強い整合性を示し、より堅牢で解釈可能な視覚モデルへのスケーラブルな経路を提供する。 最後に,概念誘導マスクが従来のセグメンテーションマップよりもモデルロバストネスを効果的に監視し,中心仮説を支持することを確認した。

関連論文リスト

• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• SGHA-Attack: Semantic-Guided Hierarchical Alignment for Transferable Targeted Attacks on Vision-Language Models [73.19044613922911]
  大規模視覚言語モデル(VLM)は、転送ベースの対向摂動に対して脆弱である。 SGHA-Attackは、複数のターゲット参照を採用し、中間層一貫性を強制するフレームワークである。 オープンソースおよび商用のブラックボックスVLMの実験は、SGHA-Attackが従来の方法よりも強力な目標転送性を実現することを示している。
  論文  参考訳（メタデータ） (2026-02-02T03:10:41Z)
• Cross-Layer Discrete Concept Discovery for Interpreting Language Models [13.842670153893977]
  クロス層VQ-VAEは、ベクトル量子化を使用して層間の表現をマッピングするフレームワークである。 本手法は,量子化中のトップk温度に基づくサンプリングとEMAコードブック更新を一意に組み合わせる。
  論文  参考訳（メタデータ） (2025-06-24T22:43:36Z)
• MapBERT: Bitwise Masked Modeling for Real-Time Semantic Mapping Generation [15.116320098263149]
  MapBERTは、目に見えない空間の分布をモデル化するために設計された新しいフレームワークである。 本研究では,MapBERTが最先端のセマンティックマップ生成を実現することを示す。 Gibsonベンチマークの実験では、MapBERTが最先端のセマンティックマップ生成を実現している。
  論文  参考訳（メタデータ） (2025-06-09T01:55:55Z)
• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Optimizing Relevance Maps of Vision Transformers Improves Robustness [91.61353418331244]
  視覚的分類モデルは、しばしば画像背景に依存し、前景を無視し、分布の変化に対する頑丈さを損なうことが観察されている。 本稿では,モデルが前景オブジェクトに注目するように,モデルの関連性信号を監視して操作することを提案する。 これは、画像とそれに関連する前景マスクからなる比較的少数のサンプルを含む、微調整のステップとして行われる。
  論文  参考訳（メタデータ） (2022-06-02T17:24:48Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。