論文の概要: Mixed Signals: Decoding VLMs' Reasoning and Underlying Bias in Vision-Language Conflict

• arxiv url: http://arxiv.org/abs/2504.08974v1
• Date: Fri, 11 Apr 2025 20:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 02:19:16.779593
• Title: Mixed Signals: Decoding VLMs' Reasoning and Underlying Bias in Vision-Language Conflict
• Title（参考訳）: 混合信号:VLMの推論の復号化とビジョンランゲージ紛争におけるバイアスの低減
• Authors: Pouya Pezeshkpour, Moin Aminnaseri, Estevam Hruschka,
• Abstract要約: 本稿では,視覚言語モデル(VLM)が画像とテキストの相反するシナリオに直面する場合の理由を示す。 我々の分析では、VLMはより単純なクエリでテキストを好むが、クエリの複雑さが増大するにつれて画像にシフトする。 さらに、簡単なプロンプト修正、矛盾する情報を扱うためのモデルを明確に指示する修正という3つの緩和戦略についても検討する。
• 参考スコア（独自算出の注目度）: 3.9495397165148023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have demonstrated impressive performance by effectively integrating visual and textual information to solve complex tasks. However, it is not clear how these models reason over the visual and textual data together, nor how the flow of information between modalities is structured. In this paper, we examine how VLMs reason by analyzing their biases when confronted with scenarios that present conflicting image and text cues, a common occurrence in real-world applications. To uncover the extent and nature of these biases, we build upon existing benchmarks to create five datasets containing mismatched image-text pairs, covering topics in mathematics, science, and visual descriptions. Our analysis shows that VLMs favor text in simpler queries but shift toward images as query complexity increases. This bias correlates with model scale, with the difference between the percentage of image- and text-preferred responses ranging from +56.8% (image favored) to -74.4% (text favored), depending on the task and model. In addition, we explore three mitigation strategies: simple prompt modifications, modifications that explicitly instruct models on how to handle conflicting information (akin to chain-of-thought prompting), and a task decomposition strategy that analyzes each modality separately before combining their results. Our findings indicate that the effectiveness of these strategies in identifying and mitigating bias varies significantly and is closely linked to the model's overall performance on the task and the specific modality in question.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、複雑なタスクを解決するために視覚情報とテキスト情報を効果的に統合することで、印象的な性能を示した。 しかし、これらのモデルが視覚的およびテキスト的データをどう組み合わせるか、また、モーダル間の情報の流れがどのように構成されているのかは明らかになっていない。 本稿では,現実のアプリケーションでよく見られる,矛盾する画像やテキストの手がかりを示すシナリオに対して,VLMがバイアスを分析することによって,その原因を解明する方法について検討する。 これらのバイアスの程度と性質を明らかにするために、既存のベンチマークに基づいて、マッチングされていない画像とテキストのペアを含む5つのデータセットを作成し、数学、科学、視覚的記述のトピックをカバーします。 我々の分析では、VLMはより単純なクエリでテキストを好むが、クエリの複雑さが増大するにつれて画像にシフトする。 このバイアスは、タスクとモデルによって+56.8%(画像が好まれる)から-74.4%(テキストが好まれる)まで、画像とテキストが好まれるレスポンスの割合の違いによって、モデルスケールと相関する。 さらに、単純なプロンプト修正、矛盾する情報を扱う方法を明示的に指示する修正(チェーン・オブ・シント・プロンプト)、結果を組み合わせる前に各モダリティを別々に分析するタスク分解戦略という3つの緩和戦略についても検討する。 本研究は, 偏見の同定・緩和におけるこれらの戦略の有効性が著しく異なり, 課題におけるモデル全体の性能と, 問題となる特定のモダリティと密接に関連していることを示す。

関連論文リスト

• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Efficient Vision Language Model Fine-tuning for Text-based Person Anomaly Search [20.695290280579858]
  本稿では,テキストベースPerson Anomaly Search(TPAS)におけるWWW 2025チャレンジに対するHFUT-LMCチームのソリューションについて述べる。 この課題の主な目的は、歩行者画像の大きな図書館内で正常または異常な行動を示す歩行者を正確に識別することである。 類似したテキスト記述による認識の難しさに対処するために、SCA(Simisity Coverage Analysis)戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-05T14:45:09Z)
• Why context matters in VQA and Reasoning: Semantic interventions for VLM input modalities [18.859309032300402]
  画像とテキストのモダリティからの情報の統合が視覚言語モデル(VLM)予測の性能と振舞いに与える影響について検討する。 本稿では,VQAタスクの解決に視覚的内容が不可欠である様々な構成において,テキストと画像のモダリティの相互作用について検討する。 この結果から,モダリティ間の相補的な情報によって解答や推論の質が向上し,矛盾する情報がモデルの性能や信頼性を損なうことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-02T16:02:02Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• Assessing Brittleness of Image-Text Retrieval Benchmarks from Vision-Language Models Perspective [44.045767657945895]
  画像テキスト検索(ITR)評価パイプラインの脆性について,概念的粒度に着目して検討した。 ゼロショット条件下では,標準データセットと細粒度データセットの両方に対して,最先端のビジョンランゲージモデルを4種類評価する。 その結果、摂動は一般的にモデル性能を劣化させるが、粒度の細かいデータセットは標準のデータセットよりもパフォーマンスの低下が小さいことが示された。
  論文  参考訳（メタデータ） (2024-07-21T18:08:44Z)
• Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective [13.486497323758226]
  広範囲なデータセットで事前訓練された視覚言語モデルは、性情報とオブジェクトやシナリオを関連付けることによって、必然的にバイアスを学習することができる。 本稿では,因果媒介分析を取り入れた枠組みを提案し,バイアス発生と伝播の経路を計測・マッピングする。
  論文  参考訳（メタデータ） (2024-07-03T05:19:45Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond [7.760124498553333]
  視覚言語モデルが連続的・独立的に視覚と言語タスクを実行するかを検討する。 マルチモーダル設定において、異なるモーダル間の能力格差を定量化する体系的枠組みを導入する。 本稿では,視覚関連課題に挑戦するタスクのパフォーマンスを効果的に向上する手法である"Vision Description Prompting"を紹介する。
  論文  参考訳（メタデータ） (2023-10-19T06:45:11Z)
• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval [29.884153827619915]
  IRRA:クロスモーダルImplicit Relation Reasoning and Aligning frameworkを提案する。 ローカルなビジュアルテキストトークン間の関係を学習し、グローバルな画像テキストマッチングを強化する。 提案手法は,3つの公開データセットすべてに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2023-03-22T12:11:59Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。