論文の概要: Words or Vision: Do Vision-Language Models Have Blind Faith in Text?

• arxiv url: http://arxiv.org/abs/2503.02199v1
• Date: Tue, 04 Mar 2025 02:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:27:13.676431
• Title: Words or Vision: Do Vision-Language Models Have Blind Faith in Text?
• Title（参考訳）: 言葉かビジョンか:視覚言語モデルはテキストに盲目か?
• Authors: Ailin Deng, Tri Cao, Zhirui Chen, Bryan Hooi,
• Abstract要約: VLM(Vision-Language Models)は、視覚中心のタスクに対する視覚情報とテキスト情報の統合に優れる。 視覚中心設定における視覚データや様々なテキスト入力に直面するVLMのモダリティ嗜好について検討する。 不整合が発生した場合、VLMは視覚的データよりもテキストデータを不均等に信頼する。
• 参考スコア（独自算出の注目度）: 34.88114876390461
• License:
• Abstract: Vision-Language Models (VLMs) excel in integrating visual and textual information for vision-centric tasks, but their handling of inconsistencies between modalities is underexplored. We investigate VLMs' modality preferences when faced with visual data and varied textual inputs in vision-centered settings. By introducing textual variations to four vision-centric tasks and evaluating ten Vision-Language Models (VLMs), we discover a \emph{``blind faith in text''} phenomenon: VLMs disproportionately trust textual data over visual data when inconsistencies arise, leading to significant performance drops under corrupted text and raising safety concerns. We analyze factors influencing this text bias, including instruction prompts, language model size, text relevance, token order, and the interplay between visual and textual certainty. While certain factors, such as scaling up the language model size, slightly mitigate text bias, others like token order can exacerbate it due to positional biases inherited from language models. To address this issue, we explore supervised fine-tuning with text augmentation and demonstrate its effectiveness in reducing text bias. Additionally, we provide a theoretical analysis suggesting that the blind faith in text phenomenon may stem from an imbalance of pure text and multi-modal data during training. Our findings highlight the need for balanced training and careful consideration of modality interactions in VLMs to enhance their robustness and reliability in handling multi-modal data inconsistencies.
• Abstract（参考訳）: VLM(Vision-Language Models)は、視覚中心のタスクに視覚情報とテキスト情報を統合することに優れていますが、モダリティ間の不整合の扱いは過小評価されています。 視覚中心設定における視覚データや様々なテキスト入力に直面するVLMのモダリティ嗜好について検討する。 4つの視覚中心のタスクにテキストのバリエーションを導入し、10つの視覚言語モデル(VLM)を評価することで、VLMは不整合が発生したときに視覚データよりもテキストデータを不均等に信頼する「emph{```blind faith in text''}」現象を発見し、劣化したテキスト下での大幅なパフォーマンス低下と安全性の懸念を引き起こす。 我々は,このテキストバイアスに影響を及ぼす要因を分析する。命令プロンプト,言語モデルのサイズ,テキスト関連性,トークン順序,視覚的およびテキスト的確実性間の相互作用などである。 言語モデルのサイズを拡大するなどの特定の要因は、テキストバイアスをわずかに軽減しますが、トークン順序のような要因は、言語モデルから受け継がれた位置バイアスによって、それを悪化させます。 そこで本研究では,テキスト増補による教師付き微調整について検討し,テキストバイアスの低減効果を実証する。 さらに,本論文では,テキスト現象におけるブラインド信頼が,トレーニング中の純粋テキストとマルチモーダルデータの不均衡に起因する可能性を示唆する理論的分析を行った。 本研究は, マルチモーダルデータ不整合処理におけるロバスト性, 信頼性を高めるために, バランスの取れたトレーニングの必要性と, VLMにおけるモダリティ相互作用を慎重に検討することの必要性を強調した。

関連論文リスト

• VilBias: A Study of Bias Detection through Linguistic and Visual Cues , presenting Annotation Strategies, Evaluation, and Key Challenges [2.2751168722976587]
  VLBiasは、最先端のLarge Language Models(LLM)とVision-Language Models(VLM)を活用して、ニュースコンテンツの言語的および視覚的バイアスを検出するフレームワークである。 本稿では,多様なニュースソースからのテキストコンテンツと対応する画像からなるマルチモーダルデータセットを提案する。
  論文  参考訳（メタデータ） (2024-12-22T15:05:30Z)
• Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:30Z)
• Mitigating Hallucination in Visual-Language Models via Re-Balancing Contrastive Decoding [11.719774461701897]
  視覚言語モデルにおける注意分布の再検討のためのリバランシング・コントラシティブ・デコーディング(RBD)手法を提案する。 RBD はCHAIR と POPE のメトリクスによって既存の手法よりも優れており,モデル全体の能力を低下させることなく幻覚を緩和する。
  論文  参考訳（メタデータ） (2024-09-10T13:13:14Z)
• FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
  我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。 FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。 FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
  論文  参考訳（メタデータ） (2024-04-23T03:42:14Z)
• ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
  テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。 そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
  論文  参考訳（メタデータ） (2024-01-24T09:07:11Z)
• Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment [64.49170817854942]
  本稿では,検出されたテキストと画像のペア間の相違点の詳細な説明を行う。 我々は、大きな言語モデルと視覚的接地モデルを活用して、与えられた画像に対して妥当なキャプションを保持するトレーニングセットを自動構築する。 また,テキストと視覚的ミスアライメントアノテーションを組み合わせた新たな人為的なテストセットも公開する。
  論文  参考訳（メタデータ） (2023-12-05T20:07:34Z)
• Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond [7.760124498553333]
  視覚言語モデルが連続的・独立的に視覚と言語タスクを実行するかを検討する。 マルチモーダル設定において、異なるモーダル間の能力格差を定量化する体系的枠組みを導入する。 本稿では,視覚関連課題に挑戦するタスクのパフォーマンスを効果的に向上する手法である"Vision Description Prompting"を紹介する。
  論文  参考訳（メタデータ） (2023-10-19T06:45:11Z)
• A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues [23.743431157431893]
  共同文と視覚的手がかりの条件推論は多モーダル推論タスクである。 我々はModCRというマルチモーダルコンテキスト推論手法を提案する。 2つの対応するデータセットに対して広範囲な実験を行い、実験結果により性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-05-08T08:05:40Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。