論文の概要: VISTA: Auditing Semantic Divergence in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.02995v1
• Date: Fri, 03 Jul 2026 06:21:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.487755
• Title: VISTA: Auditing Semantic Divergence in Vision-Language Models
• Title（参考訳）: VISTA:視覚・言語モデルにおける意味的多様性の検証
• Abstract要約: 視覚言語モデルは視覚的概念条件の発散を示すことができる。 視覚的な概念は、テキストトークンを分離したり、置き換えたりできないため、これらの振る舞いは、テキストのみの監査を回避する。 VISTAは,意味エントロピーと分布に基づく発散と,フラグモデル固有の異常とを結合したブラックボックス・クロスモデル監査である。
• 参考スコア（独自算出の注目度）: 10.934702002803434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models can exhibit visual concept-conditioned divergence: given images containing demographic features, corporate logos, or ideological symbols, some models produce unusually uniform responses that differ from what peer models say about the same input. These behaviors evade text-only audits because visual concepts cannot be isolated or substituted the way text tokens can. We present VISTA (Visual Inconsistency Screening Through Analysis), a black-box cross-model audit that couples semantic entropy with distribution-based divergence to flag model-specific anomalies. In a controlled study, we implant concept-conditioned stances in three VLMs via fine-tuning on small biased datasets and confirm that VISTA detects them. Auditing six VLMs across 19 topics, VISTA surfaces 142 high-suspicion cases (1.2%) and identifies selective refusal as a previously unreported divergence pattern, where models refuse demographic queries at rates varying from 0 to 65% across groups.
• Abstract（参考訳）: 人口動態の特徴、企業ロゴ、イデオロギー記号を含む画像が与えられた場合、いくつかのモデルは、同じ入力についてピアモデルが言うものと異なる、異常に均一な応答を生成する。 視覚的な概念は、テキストトークンを分離したり、置き換えたりできないため、これらの振る舞いは、テキストのみの監査を回避する。 VISTA (Visual Inconsistency Screening Through Analysis) は, 意味論的エントロピーと分布に基づく発散と, フラグモデル固有の異常とを結合したブラックボックス・クロスモデル監査である。 制御された研究では、小さなバイアス付きデータセットを微調整することで、3つのVLMに概念条件付き姿勢を埋め込み、VISTAが検出できることを確認する。 VISTAは、19のトピックにわたる6つのVLMを調査し、142のハイ・サスペクション・ケース(1.2%)を表面化し、選択的拒絶を以前に報告されていない分岐パターンとして認識し、モデルがグループ間で0から65%の比率で人口統計クエリーを拒否する。

関連論文リスト

• Visual Semantic Entropy: Do Vision Language Models Recognize Visual Ambiguity? [14.469911934779558]
  視覚言語モデルは、視覚的にあいまいな入力に対して自信ある答えを生じさせ、バイアスのある予測をもたらす。 テキストクエリを固定したまま、画像のみを摂動して近傍の視覚変化を探索する視覚意味エントロピー(VSE)を提案する。 VSEは視覚的曖昧さを効果的に捉え、VLMの不確実性評価のための新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2026-06-30T09:35:20Z)
• Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
  現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
  論文  参考訳（メタデータ） (2026-06-25T17:59:55Z)
• CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models [44.585250047959924]
  VLM(Vision-Language Models)はマルチモーダル推論において優れているが、その答えが視覚的証拠に根ざされているか、あるいは学習言語や世界の先駆者によって駆動されているかは定かではない。 本稿では,VLMにおけるデファクトカウントの診断フレームワークであるCounterCountを紹介する。 これらの失敗は、欠落または曖昧な視覚的証拠によるものではなく、無関係な視覚的トークンへの注意を過小評価するモデルによるものであることを示す。
  論文  参考訳（メタデータ） (2026-05-18T04:00:05Z)
• Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models [34.388508959416725]
  視覚言語モデル(VLM)における推論ダイナミクスの解析 モデルが慣性に答える傾向にあり、予測に対する早期のコミットメントが強化されていることが分かっています。 Reasoning-trained(推論訓練されたモデル)は、明らかにこのキューを指す傾向が強いが、長いCoTは依然として視覚的に接地しているように見える。
  論文  参考訳（メタデータ） (2026-04-16T11:28:53Z)
• VisualScratchpad: Inference-time Visual Concepts Analysis in Vision Language Models [81.7389759509619]
  推論中の視覚的概念分析のための対話型インタフェースであるVisualScratchpadを紹介する。 視覚エンコーダにスパースオートエンコーダを適用し,テキスト・ツー・イメージ・アテンションを介して視覚概念をテキストトークンにリンクする。 VisualScratchpadはまたトークンラテントヒートマップビューも提供しており、因果解析における効果的な概念アブレーションに十分なラテントのセットを示唆している。
  論文  参考訳（メタデータ） (2026-03-07T20:52:09Z)
• Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs [60.93949629734977]
  モデル生成論理における幻覚を軽減するために,視覚コントラスト型自己学習共振器(VC-STaR)を提案する。 多様なVQAデータセットを収集し、マルチモーダルな類似性に応じてコントラストペアをキュレートし、VC-STaRを用いて合理性を生成する。 大規模な実験によると、VC-STaRは既存の自己改善アプローチを上回るだけでなく、SoTA視覚推論データセットで微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2026-03-03T03:18:31Z)
• MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
  視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。 遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。 以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T18:49:06Z)
• Evaluating the encoding competence of visual language models using uncommon actions [5.816389980109022]
  UAITは、視覚言語モデル(VLM)の動作シーンにおける意味理解能力をテストするために設計された新しい評価ベンチマークである。 我々は,大規模言語モデル,少数ショットプロンプトエンジニアリング,テキスト・ツー・イメージ・ジェネレーションを用いて,高品質な非常識画像テキストサンプルを合成する。 我々は、複数の最先端ビジュアル言語モデルを評価し、コントラスト学習に基づくモデルと比較する。
  論文  参考訳（メタデータ） (2026-01-12T17:15:45Z)
• Visual Graph Arena: Evaluating Visual Conceptualization of Vision and Multimodal Large Language Models [51.900488744931785]
  視覚抽象化のためのAIシステムの能力を評価し改善するためのビジュアルグラフアリーナ(VGA)を導入する。 人間はタスク間でほぼ完璧な精度を達成し、モデルは同型検出で完全に失敗し、パス/サイクルタスクにおいて限られた成功を示した。 表現不変推論の課題を分離することにより、VGAは、AIビジュアルモデルにおける人間のような概念化に向けた前進を促進するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-06-06T17:06:25Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Vision-Language Models Performing Zero-Shot Tasks Exhibit Gender-based Disparities [19.03751960721954]
  ゼロショット視覚言語モデルが、異なる視覚タスクに対してジェンダーバイアスを示す範囲について検討する。 概念の集合にまたがって複数のデータセットを持つ異なる視覚言語モデルを評価する。
  論文  参考訳（メタデータ） (2023-01-26T13:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。