論文の概要: When Words Speak Louder than Images: Towards Understanding Language Bias in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.35272v1
• Date: Mon, 28 Sep 2026 14:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:58:47.852212
• Title: When Words Speak Louder than Images: Towards Understanding Language Bias in Vision-Language Models
• Title（参考訳）: 単語が画像よりも音声を聴くとき--視覚・言語モデルにおける言語バイアスの理解に向けて
• Abstract要約: 視覚言語モデル(VLM)は言語バイアスの影響を受けやすいままであり、しばしば視覚的証拠よりも言語的手がかりを優先する。 本稿では,言語バイアスの伝播を追跡するために,推論プロセスを4つの独立した相互依存段階に分解する診断フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.840364770141135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite substantial progress across downstream applications, vision-language models (VLMs) remain susceptible to language bias, often prioritizing linguistic cues over visual evidence and consequently producing incorrect predictions. Prior studies have proposed various approaches to understanding and mitigating language bias in VLMs, yet their findings often conflict due to the difficulty of tracing how language bias propagates within black-box VLMs. Building on the word completion task, we trace how language bias propagates through VLM inference by (1) proposing a diagnostic framework that decomposes the inference process into four distinct yet interdependent stages to trace the propagation of language bias; and (2) examining how two key factors underlying language bias, i.e., linguistic priors and cross-modal coverage, evolve across these stages and ultimately give rise to incorrect predictions. The linguistic prior captures the strength of statistical bias induced by the language model component of a VLM and represents the origin of language bias, whereas cross-modal coverage measures the extent to which linguistic cues cover the visual content. By decomposing inference into four stages and characterizing the interplay between linguistic priors and cross-modal coverage across these stages, we propose a systematic framework for tracing the propagation of language bias throughout the inference process; and uncover the underlying mechanism of language bias by revealing the interplay between linguistic priors and cross-modal coverage.
• Abstract（参考訳）: 下流のアプリケーションでかなりの進歩があったにもかかわらず、視覚言語モデル(VLM)は言語バイアスの影響を受け、しばしば視覚的証拠よりも言語的手がかりを優先し、結果として誤った予測を生み出す。 以前の研究では、VLMにおける言語バイアスの理解と緩和のための様々なアプローチが提案されていたが、それらの発見は、ブラックボックスのVLM内で言語バイアスがどのように伝播するかの追跡が困難であるため、しばしば矛盾する。 単語完了タスクに基づいて,言語バイアスがVLM推論を通してどのように伝播するかを,(1)推論プロセスを4つの独立した相互依存段階に分解して言語バイアスの伝播を追跡する診断枠組みを提案し,(2)言語バイアスの根底にある2つの重要な要因,すなわち言語先行と言語横断のカバレッジが,これらの段階にわたってどのように進化し,最終的に誤った予測をもたらすかを調べる。 言語先行は、VLMの言語モデルコンポーネントによって引き起こされる統計的バイアスの強さを捉え、言語バイアスの起源を表す。 推論を4段階に分解し,これらの段階にまたがる言語偏差とクロスモーダルカバレッジの相互作用を特徴付けることによって,推論プロセスを通して言語偏差の伝播をトレースする体系的枠組みを提案し,言語偏差とクロスモーダルカバレッジの相互作用を明らかにすることによって言語偏差のメカニズムを明らかにする。

関連論文リスト

• LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance [77.58408743830314]
  強化学習は大規模言語モデルにおける多段階推論の強化に有効であることが証明されている。 しかし、その利点は多言語文脈に完全には翻訳されていない。 我々は、言語条件付きヒントを利用して、英語以外の推論タスクの探索をガイドする新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2026-05-21T14:47:52Z)
• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• Towards Mitigating Modality Bias in Vision-Language Models for Temporal Action Localization [20.179748846776995]
  本稿では、TALにおけるモダリティバイアスを軽減する視覚言語集約フレームワークであるActionVLMを提案する。 私たちの重要な洞察は、視覚を主流の信号として保存し、有利な場合にのみ適応的に言語を利用することです。 THUMOS14の実験では、我々のモデルは最先端の3.2%mAPよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-28T22:03:46Z)
• A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning: Performance, Consistency, and Faithfulness Across Languages [48.68444770923683]
  マルチリンガル・チェーン・オブ・ソート(CoT)推論の最初の包括的研究について述べる。 LRMがターゲット言語ですぐに考えることができる場合、言語コンプライアンス、解答精度、解答一貫性を計測する。 思考の痕跡の質と有効性は、素早い言語によって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2025-10-10T17:06:50Z)
• CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention [56.08815340137881]
  LVLM(Large Vision-Language Models)は、印象的なマルチモーダル能力を示したが、多言語オブジェクト幻覚の傾向は残っていない。 LVLMにおける多言語オブジェクト幻覚(CLAIM)の緩和のための言語横断的注意介入を提案する。
  論文  参考訳（メタデータ） (2025-06-03T11:17:16Z)
• Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs [50.07451351559251]
  我々は,5言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)にまたがる調査を行った。 位置バイアスが即時戦略とどのように相互作用し、出力エントロピーに影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-05-22T02:23:00Z)
• Assessing Agentic Large Language Models in Multilingual National Bias [31.67058518564021]
  推論に基づくレコメンデーションにおける言語間の格差はほとんど未解明のままである。 この研究は、このギャップに最初に対処する。 複数の言語にわたる意思決定タスクに対する応答を解析することにより、最先端のLLMにおける多言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2025-02-25T08:07:42Z)
• Interpretability of Language Models via Task Spaces [14.543168558734001]
  本稿では,解釈言語モデル (LM) の代替手法を提案する。 我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。 言語現象間の関係を照らす「言語的タスク空間」を構築した。
  論文  参考訳（メタデータ） (2024-06-10T16:34:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。