論文の概要: The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2605.05594v1
• Date: Thu, 07 May 2026 02:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.489357
• Title: The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation
• Title（参考訳）: コンテキストのコスト:マルチモーダル検索型生成におけるテクスチャバイアスの緩和
• Authors: Hoin Jung, Xiaoqian Wang,
• Abstract要約: MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる 再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。 本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
• 参考スコア（独自算出の注目度）: 18.83395586542378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Multimodal Large Language Models (MLLMs) are increasingly integrated with Retrieval-Augmented Generation (RAG) to mitigate hallucinations, the introduction of external documents can conceal severe failure modes at the instance level. We identify and formalize the phenomenon of recorruption, where the introduction of even perfectly accurate "oracle" context causes a capable model to abandon an initially correct prediction. Through a mechanistic diagnosis of internal attention matrices, we show that recorruption is driven by a two-fold attentional collapse: (1) visual blindness, characterized by the systemic suppression of visual attention mass ($M_{vis}$) and sharpness ($S_{vis}$), and (2) a structural positional bias that forces the model to prioritize boundary tokens over semantic relevance. Our analysis reveals an Illusion of Success, demonstrating that many seemingly correct RAG outcomes are merely positional coincidences where the model's textual copying bias happens to align with the ground-truth location. To address these vulnerabilities, we propose Bottleneck Attention Intervention for Recovery (BAIR), a parameter-free, inference-time framework that restores visual saliency and applies position-aware penalties to textual distractors. Across medical factuality, social fairness, and geospatial benchmarks, BAIR successfully restores multimodal grounding and improves diagnostic reliability without requiring model retraining or fine-tuning.
• Abstract（参考訳）: マルチモーダル・大規模言語モデル (MLLM) は幻覚を緩和するためにレトリーバル拡張生成 (RAG) と統合されつつあるが、外部文書の導入はインスタンスレベルで深刻な障害モードを隠蔽する可能性がある。 再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。 内部の注意行列の機械的診断により,(1)視覚的盲点(M_{vis}$)と鋭さ(S_{vis}$)の全身的な抑制を特徴とする視覚的盲点(M_{vis}$)と(2)モデルに意味的関連性よりも境界トークンを優先させる構造的位置バイアス(S_{vis}$)という,2重の注意崩壊によって再破壊が引き起こされることを示した。 我々の分析は成功の錯覚を明らかにし、RAGの結果が正しそうに見えるものは、単に、モデルがテキストコピーのバイアスを発生して、地道な位置と整合する位置の一致であることを示す。 これらの脆弱性に対処するために,パラメータフリーで推論時間のフレームワークであるBottleneck Attention Intervention for Recovery (BAIR)を提案する。 医学的事実性、社会的公正性、地理空間的ベンチマーク全体にわたって、BAIRは、モデルの再トレーニングや微調整を必要とせずに、マルチモーダルグラウンドの回復と診断信頼性の向上に成功している。

関連論文リスト

• DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models [17.5535076530203]
  オブジェクトレベルの幻覚は、視覚言語モデルにとって依然として中心的な信頼性の課題である。 構造的介入によりソースを分離する制御診断ベンチマークであるDO-Benchを紹介する。 対象幻覚は,集合的精度を超える不均一な機構に依存した障害パターンを反映していることを示す。
  論文  参考訳（メタデータ） (2026-04-18T06:54:02Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• Hallucination Detection and Mitigation in Large Language Models [0.0]
  LLM(Large Language Models)とLRM(Large Reasoning Models)は、金融や法律のような高額な領域に変革をもたらす。 幻覚を起こそうとする傾向は、事実的に不正確な、または、サポートされていないコンテンツを発生させ、重大な信頼性のリスクを生じさせる。 本稿では,根本原因認識による継続的改善サイクル上に構築された幻覚管理のための包括的枠組みを紹介する。
  論文  参考訳（メタデータ） (2026-01-14T23:19:37Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
  汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。 本稿では,ロバストネスアライメントスコア(RAS)を提案する。
  論文  参考訳（メタデータ） (2025-11-24T12:07:56Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Seeing is Believing? Mitigating OCR Hallucinations in Multimodal Large Language Models [24.363156120809546]
  劣化文書理解におけるOCR幻覚評価のための最初のベンチマークであるKIE-HVQAを提案する。 このデータセットには、IDカードと請求書にまたがるテストサンプルが含まれており、OCR信頼性のための実世界の劣化をシミュレートしている。 Qwen2.5-VL 実験により,GPT-4o に対して 7B-パラメータモデルでは幻覚のない精度が 22% 向上していることが示された。
  論文  参考訳（メタデータ） (2025-06-25T06:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。