論文の概要: Pathological Truth Bias in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2509.22674v1
• Date: Sun, 14 Sep 2025 14:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 05:29:07.781622
• Title: Pathological Truth Bias in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおける病的真性バイアス
• Authors: Yash Thube,
• Abstract要約: そこで我々は,MATS(Multimodal Audit for Truthful Spatialization)を導入した。 命令調律生成VLMはSCSと高いIARを示すが、コントラストエンコーダ(CLIP, SigLIP)ははるかに堅牢である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) are improving quickly, but standard benchmarks can hide systematic failures that reduce real world trust. We introduce MATS (Multimodal Audit for Truthful Spatialization), a compact behavioral audit that measures whether models reject visually contradicted statements, and two metrics Spatial Consistency Score (SCS) and Incorrect Agreement Rate (IAR). Instruction tuned generative VLMs (LLaVA 1.5, QwenVLchat) exhibit very low SCS and high IAR, while contrastive encoders (CLIP, SigLIP) are far more robust. Activation patching causally localizes failure loci (mid to late cross attention for generative models, pooled projection components for contrastive models) and suggests concrete repair paths.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は急速に改善されているが、標準的なベンチマークは、組織的な失敗を隠蔽し、現実の信頼を低下させる。 我々は,MATS(Multimodal Audit for Truthful Spatialization)という,モデルが視覚的に矛盾する文を拒否するかどうかを計測する,コンパクトな行動監査と,空間整合スコア(SCS)と不正確な一致率(IAR)の2つの指標を紹介する。 命令調整VLM(LLaVA 1.5, QwenVLchat)は非常に低いSCSと高いIARを示し、対照的エンコーダ(CLIP, SigLIP)ははるかに堅牢である。 アクティベーションパッチ(Activation patching)は、故障箇所を因果的に局所化し(生成モデルでは後期の横断的な注意、対照的なモデルではプール化された投影成分)、具体的な修復経路を提案する。

関連論文リスト

• Labels or Input? Rethinking Augmentation in Multimodal Hate Detection [9.166963162285064]
  マルチモーダルヘイト検出を改善するために,マルチモーダルヘイト検出法を提案する。 まず、素早い構造、監督、訓練のモダリティを体系的に変化させるプロンプト最適化フレームワークを提案する。 次に,2,479個の正中性ミームを生成するマルチモーダルデータ拡張パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-08-15T21:31:00Z)
• CNS-Bench: Benchmarking Image Classifier Robustness Under Continuous Nuisance Shifts [78.79936076607373]
  我々は,連続ニュアンスシフトベンチマークであるCNS-Benchを導入し,連続かつ現実的なニュアンスシフトのための画像分類器の堅牢性を定量化する。 本稿では,従来の手法よりも優れたフィルタリング機構を提案し,生成モデルによる信頼性の高いベンチマークを可能にする。
  論文  参考訳（メタデータ） (2025-07-23T16:15:48Z)
• CLIPTTA: Robust Contrastive Vision-Language Test-Time Adaptation [15.732351927470452]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット能力を示すが、分散シフトの下では一般化に失敗することが多い。 テスト時間適応(TTA)は、一般にエントロピーの最小化を通じて、ラベル付きデータなしで推論時にモデルを更新することを可能にする。 CLIPTTAは,CLIPの事前学習目標に沿ったソフトコントラスト損失を利用する視覚言語モデルのための,新しい勾配に基づくTTA手法である。
  論文  参考訳（メタデータ） (2025-07-18T18:32:17Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Forget What You Know about LLMs Evaluations -- LLMs are Like a Chameleon [12.13060272830352]
  大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見える。 これらの高いスコアは、真の言語理解よりもデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。 本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。
  論文  参考訳（メタデータ） (2025-02-11T10:43:36Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。