論文の概要: CAER: Conflict-Aware Evidence Routing with Dual Prefix Experts for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2607.28991v1
• Date: Fri, 31 Jul 2026 03:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.582784
• Title: CAER: Conflict-Aware Evidence Routing with Dual Prefix Experts for Multimodal Large Language Models
• Title（参考訳）: CAER:マルチモーダル大言語モデルのためのデュアルプレフィックスエキスパートによる競合意識のエビデンスルーティング
• Abstract要約: 本稿では,視覚的コンフリクト検出とコンフリクト認識生成のためのバックボーンに依存しないフレームワークであるCAERを提案する。 本稿では,CAERが視覚言語間の衝突を効果的に検出し,バックボーンパラメータを更新することなく,オープンソースのMLLMの信頼性を向上させることを示す。
• 参考スコア（独自算出の注目度）: 25.759863166571858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in multimodal understanding and generation. However, when textual inputs conflict with visual evidence, they still suffer from hallucinations and produce responses inconsistent with visual content. Existing approaches mainly rely on decoding strategies, additional training, verification methods, or prompting techniques, but often lack fine-grained conflict localization and conflict-aware generation. In this work, we propose CAER, a backbone-agnostic framework for visual-language conflict detection and conflict-aware generation. CAER introduces a span-grounded evidence router that transforms claim representations into soft textual queries and retrieves corresponding evidence from frozen visual tokens, enabling fine-grained conflict estimation. Furthermore, we design a dual-prefix expert routing mechanism that learns separate experts for visually supported and contradicted inputs, enabling conflict-aware generation through explicit expert selection. Experiments on the public MMMC benchmark and our newly curated AgriConflict dataset demonstrate that CAER effectively detects visual-language conflicts and improves the reliability of open-source MLLMs without updating their backbone parameters.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は,マルチモーダル理解と生成において顕著な能力を示す。 しかし、テキスト入力が視覚的証拠と矛盾する場合、彼らはまだ幻覚に悩まされ、視覚的内容と矛盾する反応を生み出す。 既存のアプローチは主にデコード戦略、追加のトレーニング、検証方法、あるいはプロンプト技術に頼っているが、しばしば微妙なコンフリクトローカライゼーションとコンフリクト・アウェア・ジェネレーションが欠如している。 本研究では,視覚言語衝突検出とコンフリクト認識生成のためのバックボーンに依存しないフレームワークであるCAERを提案する。 CAERは、クレーム表現をソフトテキストクエリに変換し、凍結した視覚トークンから対応するエビデンスを検索し、きめ細かいコンフリクト推定を可能にする、スパングラウンドのエビデンスルータを導入している。 さらに、視覚的に支援され、矛盾する入力に対して異なる専門家を学習し、明示的な専門家選択を通じて競合認識生成を可能にする、二重修正専門家ルーティング機構を設計する。 公開MMMCベンチマークと新たにキュレートしたAgriConflictデータセットの実験により、CAERは視覚言語競合を効果的に検出し、バックボーンパラメータを更新することなくオープンソースのMLLMの信頼性を向上させることを示した。

関連論文リスト

• CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection [56.64398465636452]
  ジェネレーティブAIは、マルチモーダルなフェイクニュースをますます現実的で広範にし、公共の信頼と社会的安定に深刻な脅威を与えている。 textbfConflict-textbfOriented textbfREasoning (textbfCORE) フレームワークを提案する。 COREは堅牢で一般化可能なコンフリクト検出を実現し、いくつかのサンプルやゼロショット設定で、目に見えない操作タイプに効果的かつ迅速に適応する。
  論文  参考訳（メタデータ） (2026-06-02T02:53:48Z)
• Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding [51.242997961841276]
  大規模言語モデルは事前学習を通じてパラメトリック知識を蓄積する。 知識の衝突は、時代遅れまたは誤ったパラメトリック知識が文脈における外部知識と衝突する際に起こる。 既存の手法は、対照的な復号化を通じて知識の衝突に対処するが、競合のないシナリオでは静的アプローチが出力分布を妨害する。 本稿では,動的認知和解復号法(DCRD)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T14:29:45Z)
• Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
  長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。 我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。 本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
  論文  参考訳（メタデータ） (2026-02-16T07:10:44Z)
• Do Images Speak Louder than Words? Investigating the Effect of Textual Misinformation in VLMs [17.56537230934894]
  Vision-Language Models (VLM)は、Visual-Question-Answering (VQA)ベンチマークで強力なマルチモーダル推論能力を示している。 これらのモデルが、誤解を招くテキストのプロンプトに対して脆弱であることを示し、しばしば矛盾するテキストを支持する明確な視覚的証拠をオーバーライドしている。
  論文  参考訳（メタデータ） (2026-01-27T05:04:38Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• MAGIC: A Multi-Hop and Graph-Based Benchmark for Inter-Context Conflicts in Retrieval-Augmented Generation [7.927396904317054]
  RAGシステムでは、検索された文書が互いに矛盾したり、モデルのパラメトリックな知識と矛盾することがある。 本稿では,2つの類似しているが異なる文脈間の相違を多様かつ微妙に生成する知識グラフ(KG)に基づくフレームワークを提案する。 我々のベンチマークであるMAGICの実験結果から,LLMの内部動作に関する興味深い知見が得られた。
  論文  参考訳（メタデータ） (2025-07-29T07:19:49Z)
• Robust Multimodal Large Language Models Against Modality Conflict [94.12341487880465]
  マルチモーダル大言語モデル(MLLM)は、現実のシナリオにおいて幻覚を起こす傾向がある。 我々は、MLLMをジレンマに配置し、幻覚に直接導く異なるモダリティからの入力における固有の矛盾について研究する。 モダリティ衝突による幻覚を緩和する3つの方法が提案されている。
  論文  参考訳（メタデータ） (2025-07-09T11:18:38Z)
• SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models [6.52323086990482]
  視覚言語モデル(VLM)は、高度なマルチモーダル推論を実証するが、知識の衝突に直面した場合には幻覚を起こす傾向がある。 本研究は,VLMレジリエンスを知識衝突に対して調査するために,目標画像摂動を適用するフレームワークであるsegsubを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T00:26:38Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• Unraveling Cross-Modality Knowledge Conflicts in Large Vision-Language Models [33.76903352835436]
  LVLM(Large Vision-Language Models)は、マルチモーダル入力をキャプチャし、推論する能力を示す。 これらのモデルは、そのビジョンと言語コンポーネント間の表現された知識の不整合から生じるパラメトリックな知識の衝突を招きやすい。 我々は、それらを検出し、解釈し、緩和するための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。