論文の概要: Vision-Language Models Integrate Conflicting Evidence Like Biased Bayesian Observers
- arxiv url: http://arxiv.org/abs/2610.19407v1
- Date: Wed, 14 Oct 2026 01:55:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.891982
- Title: Vision-Language Models Integrate Conflicting Evidence Like Biased Bayesian Observers
- Title(参考訳): バイザーズドベイジアンオブザーバのような矛盾する証拠を統合する視覚言語モデル
- Abstract要約: 視覚言語モデルは、矛盾するテキストとイメージを調整しなければなりません。
先行研究は、モダリティバイアスの観点で得られた振る舞いを特徴付けてきた。
ベイズ的観点からの予測的説明を開発し、VLMは各モダリティから条件的に独立した証拠と事前の信念を結合し、モダリティ固有の偏見を仮定する。
- 参考スコア(独自算出の注目度): 14.016939764706004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models must reconcile conflicting text and images. Prior work has characterized the resulting behavior in terms of modality biases--e.g., a "blind faith in text"--but why preferences vary across models, domains, and input conditions remains unclear. We develop a predictive account from a Bayesian perspective, positing that VLMs combine conditionally independent evidence from each modality with prior beliefs, subject to modality-specific biases. The resulting two-parameter cue combination model accurately predicts VLM preferences under unseen combinations of input degradation and transfers to new forms of unreliability without refitting. Separating evidence strength from integration bias explains how VLMs can follow text even while weighting visual evidence more heavily, reconciling reports of text and vision dominance under a single combination rule.
- Abstract(参考訳): 視覚言語モデルは、矛盾するテキストとイメージを調整しなければなりません。
先行研究は、モダリティバイアス(例えば「テキストの盲信」)という観点で得られた振る舞いを特徴付けてきたが、なぜモデル、ドメイン、入力条件によって好みが異なるのかはいまだ不明である。
ベイズ的観点からの予測的説明を開発し、VLMは各モダリティから条件的に独立した証拠と事前の信念を結合し、モダリティ固有の偏見を仮定する。
得られた2パラメータキュー組合せモデルは、入力劣化と新しい不確実性への変換の見知らぬ組み合わせによるVLM選好を、再適合することなく正確に予測する。
統合バイアスによるエビデンス強度の分離は、VLMがより重み付けしながらも、いかにテキストをフォローできるかを説明し、単一の組み合わせルールの下でテキストと視覚の優位性のレポートを調整します。
関連論文リスト
- Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts [49.97842835825998]
既存のベンチマークでは、知覚信号と命題信号の2つの形態の証拠が記述されている。
本稿では,視覚,音声,テキストを交叉するベンチマークであるTri-PvPを紹介する。
多くのモデルとエビデンス型条件で頑健な視覚バイアスが見つかり、重要なことはエビデンス型バイアスの系統的な非対称性を明らかにすることである。
論文 参考訳(メタデータ) (2026-09-05T10:33:58Z) - COSMO: Consensus-Driven Shift Modulation for Source-Free Domain Adaptation [79.43842208099619]
ソースフリードメイン適応(SFDA)は、ソースデータなしでラベルなしのターゲットドメインにソーストレーニングされたモデルを適用する。
VLM誘導型SFDAを標本単位の信頼性割当問題として定式化する。
本稿では,専門家から専門家への指導を協調適応に置き換えるために,COSMO(Consensus-Driven Shift Modulation)を提案する。
論文 参考訳(メタデータ) (2026-08-05T09:10:30Z) - Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models [35.34635490741956]
視覚的潜在推論により、マルチモーダルな大言語モデル(MLLM)は、中間的な視覚的エビデンスを連続トークンとして生成する。
視覚潜在モデルのためのtextbfGranular textbfAlignment textbfParadigm を提案する。
Qwen2.5-VL 7Bでは,教師付き変種のうち,最高の平均集合認識と推論性能が得られる。
論文 参考訳(メタデータ) (2026-05-12T16:41:09Z) - Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models [34.388508959416725]
視覚言語モデル(VLM)における推論ダイナミクスの解析
モデルが慣性に答える傾向にあり、予測に対する早期のコミットメントが強化されていることが分かっています。
Reasoning-trained(推論訓練されたモデル)は、明らかにこのキューを指す傾向が強いが、長いCoTは依然として視覚的に接地しているように見える。
論文 参考訳(メタデータ) (2026-04-16T11:28:53Z) - Do Images Speak Louder than Words? Investigating the Effect of Textual Misinformation in VLMs [17.56537230934894]
Vision-Language Models (VLM)は、Visual-Question-Answering (VQA)ベンチマークで強力なマルチモーダル推論能力を示している。
これらのモデルが、誤解を招くテキストのプロンプトに対して脆弱であることを示し、しばしば矛盾するテキストを支持する明確な視覚的証拠をオーバーライドしている。
論文 参考訳(メタデータ) (2026-01-27T05:04:38Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳(メタデータ) (2026-01-07T16:39:34Z) - BiPrompt: Bilateral Prompt Optimization for Visual and Textual Debiasing in Vision-Language Models [7.174865411448373]
テスト時間適応時の両モード間の非因果的特徴依存を緩和する二元的プロンプト最適化フレームワーク(BiPrompt)を提案する。
視覚面では、背景のアクティベーションを抑制し、因果領域と突発領域の間の予測一貫性を強制するために、構造化された注意誘導消去を用いる。
テキスト側では、クラス埋め込みを等方的意味空間に整合させる学習可能な再中心化機構である、バランスの取れたプロンプト正規化を導入している。
論文 参考訳(メタデータ) (2026-01-05T14:22:20Z) - A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。
大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文 参考訳(メタデータ) (2025-05-29T18:55:05Z) - Words or Vision: Do Vision-Language Models Have Blind Faith in Text? [34.88114876390461]
VLM(Vision-Language Models)は、視覚中心のタスクに対する視覚情報とテキスト情報の統合に優れる。
視覚中心設定における視覚データや様々なテキスト入力に直面するVLMのモダリティ嗜好について検討する。
不整合が発生した場合、VLMは視覚的データよりもテキストデータを不均等に信頼する。
論文 参考訳(メタデータ) (2025-03-04T02:21:07Z) - Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。
本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。