論文の概要: Mitigating Cross-Modal Hallucinations by Correcting Modality Misrouting in Omnimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.18141v1
• Date: Tue, 13 Oct 2026 10:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.594847
• Title: Mitigating Cross-Modal Hallucinations by Correcting Modality Misrouting in Omnimodal LLMs
• Title（参考訳）: Omnimodal LLMにおけるモダリティミスルーティングの修正によるモーダル横断幻覚の緩和
• Abstract要約: その結果,不正確な共同予測のかなりの部分において,疑問関連一助分枝は依然として正解を回復できることがわかった。 本稿では,モダリティの不正行為を識別し,修正するためのトレーニング不要な推論時間手法であるCaReを提案する。
• 参考スコア（独自算出の注目度）: 27.56126263575619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnimodal large language models (OLLMs) are susceptible to cross-modal hallucinations under audio-visual interference. We find that, for a substantial fraction of incorrect joint predictions, the question-relevant unimodal branch can still recover the correct answer, suggesting that task-relevant evidence can remain recoverable from the relevant modality even when it is not reflected in the joint prediction. We refer to this recoverable failure pattern as \emph{modality misrouting}. We propose CaRe (Conflict-aware Residual Intervention), a training-free inference-time method for identifying and correcting modality misrouting. CaRe uses a text-only modality probe to identify a candidate modality-specific counterfactual branch, and flags potential misrouting when its prediction conflicts with the original joint prediction. For such cases, CaRe computes a residual direction from the discrepancy between the counterfactual and fused representations and uses it to steer the original multimodal state toward the relevant modality evidence, while retaining both modalities in the original audio-visual inference path. The intervention strength is adapted based on the confidence of the counterfactual branch. Experiments on CMM and AVHBench across two OLLMs show that CaRe consistently outperforms the evaluated inference-time hallucination-mitigation baselines.
• Abstract（参考訳）: Omnimodal Large Language Model (OLLM) は、音声・視覚干渉下での相互幻覚の影響を受けやすい。 その結果,不正確な共同予測のかなりの部分において,質問関連一助分枝は依然として正解を回復することができ,共同予測に反映されていない場合でも,タスク関連証拠が関連するモダリティから回復可能であることが示唆された。 この回復可能な障害パターンを 'emph{modality misrouting} と呼ぶ。 本稿では,モダリティの不正行為を識別・修正するためのトレーニング不要な推論時間手法であるCaReを提案する。 CaReはテキストのみのモダリティプローブを使用して、候補のモダリティ固有の反ファクトブランチを特定し、予測が元のジョイント予測と矛盾する場合に潜在的な誤報を警告する。 このような場合、CaReは、反ファクト表現と融合表現の相違から残留方向を計算し、元のマルチモーダル状態と関連するモダリティ証拠とを両立させながら、元のオーディオ-視覚的推論パスに両方のモダリティを保持する。 介入強度は、反事実分岐の信頼性に基づいて適応される。 CMM と AVHBench の 2 つのOLLM に対する実験により,CaRe は推定時幻覚緩和の基準線を一貫して上回っていることが示された。

関連論文リスト

• Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
  マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。 サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。 マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
  論文  参考訳（メタデータ） (2026-08-04T11:14:13Z)
• Multimodal Continuous Reasoning via Asymmetric Mutual Variational Learning [31.446829707182445]
  連続潜時推論は、マルチモーダルクエリと最終回答をブリッジする暗黙の推論経路を発見することを目的としている。 これは、厳格な列車干渉ミスマッチ(英語版)を導入する: 訓練時間後部(英語版)は、接地真実の答えに条件付けられ、答えに依存したショートカットを利用することができる。 標準偏差トレーニングでは、テスト時に入手できない情報にアクセスできない後部を模倣するために、推論時間を前倒しし、パフォーマンスが低下する。 本稿では,このミスマッチを双方向の校正目標を用いて解決するフレームワークである非対称多変量学習(AMVL)を提案する。
  論文  参考訳（メタデータ） (2026-07-01T05:29:02Z)
• Chain-based Adaptive Reconfiguration Over Lattices for Hallucination Reduction [0.0]
  CAROLは、大規模言語モデルにおけるテスト時幻覚の低減のための確率的フレームワークである。 CAROLは、生成された応答と信頼できるコンテキストの間の一貫性に基づいた意味的不確実性尺度を定義する。 CAROLは単一のフレームワーク内で幻覚の検出と緩和を統一する。
  論文  参考訳（メタデータ） (2026-05-26T21:28:51Z)
• Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
  モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。 SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。 実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
  論文  参考訳（メタデータ） (2026-05-11T02:50:27Z)
• To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
  マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。 我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T13:11:33Z)
• Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
  大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。 損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。 視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。 言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
  論文  参考訳（メタデータ） (2026-03-20T02:07:10Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Probabilistic Guarantees for Reducing Contextual Hallucinations in LLMs [0.0]
  大規模言語モデル(LLM)は、しばしば文脈幻覚を発生させ、生成されたコンテンツはプロンプトで明示された情報に矛盾したり無視する。 本稿では,この設定における幻覚の低減のための確率的保証を明示的に提供する,モデルに依存しないフレームワークを提案する。 判定されたパイプラインが失敗する確率は、審査員の真偽陽性確率によって決定される速度で低下することを示す。
  論文  参考訳（メタデータ） (2026-01-02T10:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。