論文の概要: Automated Detection of Visual Attribute Reliance with a Self-Reflective Agent

• arxiv url: http://arxiv.org/abs/2510.21704v1
• Date: Fri, 24 Oct 2025 17:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.566172
• Title: Automated Detection of Visual Attribute Reliance with a Self-Reflective Agent
• Title（参考訳）: 自己反射剤による視覚属性信頼度の自動検出
• Authors: Christy Li, Josep Lopez Camuñas, Jake Thomas Touchet, Jacob Andreas, Agata Lapedriza, Antonio Torralba, Tamar Rott Shaham,
• Abstract要約: 視覚モデルにおける視覚的特徴の意図しない依存を検出するための自動フレームワークを提案する。 自己反射エージェントは、モデルが依存する可能性のある視覚特性に関する仮説を生成し、テストする。 我々は,視覚特性の多様さを示すために設計された130モデルの新しいベンチマークに対して,我々のアプローチを評価した。
• 参考スコア（独自算出の注目度）: 58.90049897180927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a vision model performs image recognition, which visual attributes drive its predictions? Detecting unintended reliance on specific visual features is critical for ensuring model robustness, preventing overfitting, and avoiding spurious correlations. We introduce an automated framework for detecting such dependencies in trained vision models. At the core of our method is a self-reflective agent that systematically generates and tests hypotheses about visual attributes that a model may rely on. This process is iterative: the agent refines its hypotheses based on experimental outcomes and uses a self-evaluation protocol to assess whether its findings accurately explain model behavior. When inconsistencies arise, the agent self-reflects over its findings and triggers a new cycle of experimentation. We evaluate our approach on a novel benchmark of 130 models designed to exhibit diverse visual attribute dependencies across 18 categories. Our results show that the agent's performance consistently improves with self-reflection, with a significant performance increase over non-reflective baselines. We further demonstrate that the agent identifies real-world visual attribute dependencies in state-of-the-art models, including CLIP's vision encoder and the YOLOv8 object detector.
• Abstract（参考訳）: 視覚モデルが画像認識を行うとき、どの視覚属性がその予測を駆動するか? 特定の視覚的特徴への意図しない依存を検出することは、モデルの堅牢性を確保し、過度な適合を防止し、急激な相関を避けるために重要である。 我々は、訓練された視覚モデルにおいて、そのような依存関係を検出するための自動フレームワークを導入する。 我々の手法の中核は、モデルが依存する可能性のある視覚特性に関する仮説を体系的に生成し、テストする自己反射エージェントである。 このプロセスは反復的であり、エージェントは実験結果に基づいて仮説を洗練し、自己評価プロトコルを使用して、その発見がモデルの振る舞いを正確に説明しているかどうかを評価する。 不整合が発生すると、エージェントは発見を自己認識し、新たな実験サイクルを起動する。 我々は18のカテゴリにまたがる多様な視覚的属性依存性を示すために設計された130モデルの新しいベンチマークに対するアプローチを評価した。 その結果, エージェントの性能は, 非反射的ベースラインよりも顕著に向上し, 自己反射により常に向上することがわかった。 さらに,CLIP の視覚エンコーダや YOLOv8 オブジェクト検出器など,最先端モデルにおける実世界の視覚特性依存性を識別できることを実証した。

関連論文リスト

• Model Correlation Detection via Random Selection Probing [62.093777777813756]
  既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。 本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。 RSPは相関の証拠を定量化する厳密なp-値を生成する。
  論文  参考訳（メタデータ） (2025-09-29T01:40:26Z)
• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• Vision Foundation Model Embedding-Based Semantic Anomaly Detection [12.940376547110509]
  この研究は、最先端のビジョン基盤モデルのセマンティックな先行性を活用することによって、意味的異常の検出を探索する。 本稿では,ランタイム画像からの局所的な視覚埋め込みと,自律システムの安全性と性能を考慮に入れた,名目上のシナリオのデータベースを比較するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-12T19:00:29Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Prototype Generation: Robust Feature Visualisation for Data Independent Interpretability [1.223779595809275]
  プロトタイプ生成は、画像分類モデルのモデルに依存しない、データに依存しない解釈可能性のための、より厳密でより堅牢な特徴可視化形式である。 我々は、不自然な内部活性化のため、特徴可視化アルゴリズムが信頼できないという以前の主張に対抗して、自然な活性化経路をもたらすインプットを生成する能力を示す。
  論文  参考訳（メタデータ） (2023-09-29T11:16:06Z)
• Using Positive Matching Contrastive Loss with Facial Action Units to mitigate bias in Facial Expression Recognition [6.015556590955814]
  本稿では、モデルがドメイン知識を用いてタスク関連機能に焦点をあてることによりバイアスを軽減することを提案する。 本手法を用いてタスク関連機能を組み込むことで,最小コストでモデルフェアネスを向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-08T21:28:02Z)
• Differential Assessment of Black-Box AI Agents [29.98710357871698]
  従来知られていたモデルから逸脱したブラックボックスAIエージェントを差分評価する手法を提案する。 我々は,漂流エージェントの現在の挙動と初期モデルの知識の疎度な観察を利用して,アクティブなクエリポリシーを生成する。 経験的評価は、エージェントモデルをスクラッチから再学習するよりも、我々のアプローチの方がはるかに効率的であることを示している。
  論文  参考訳（メタデータ） (2022-03-24T17:48:58Z)
• AttriMeter: An Attribute-guided Metric Interpreter for Person Re-Identification [100.3112429685558]
  Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。 CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
  論文  参考訳（メタデータ） (2021-03-02T03:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。