論文の概要: Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs

• arxiv url: http://arxiv.org/abs/2610.27103v1
• Date: Mon, 19 Oct 2026 18:01:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.448967
• Title: Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs
• Title（参考訳）: Omni-Woodpecker:Omni LLMのエビデンス・プリア・リバランシングによる幻覚補正
• Abstract要約: Omni-Woodpecker (OWP) を提案し、幻覚の緩和を出力レベルの操作からコンフリクト条件の表現再バランスにシフトさせる。 OWPは、相補的なモダリティ固有の見解から、クロスモーダルコンフリクトを識別する。 その後、隠蔽状態内の競合する先駆者から根拠的証拠を分離するために分解を利用する。
• 参考スコア（独自算出の注目度）: 47.4225894884321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Omni LLMs (OLLMs) have demonstrated remarkable capabilities in joint audio-visual reasoning, yet cross-modal hallucinations remain a major challenge. Existing mitigation methods mainly operate at the output level, overlooking the entanglement of grounding evidence and learned priors within fused representations. To address this issue, we propose Omni-Woodpecker (OWP), a training-free framework that shifts hallucination mitigation from output-level manipulation to conflict-conditioned representation rebalancing. Specifically, OWP first identifies cross-modal conflicts from complementary modality-specific views. It then employs orthogonal decomposition to separate grounding evidence from competing priors within the hidden states. Finally, OWP adaptively rebalances fused representations by suppressing misleading priors and restoring ignored evidence before decoding. Extensive experiments demonstrate the effectiveness and strong cross-architecture generalization of OWP. Using Qwen2.5-Omni-7B as the backbone, OWP improves performance by 12.9 and 8.6 points on CMM and AVHBench, respectively, while consistently achieving gains of 0.67-2.25 points across four general OLLM reasoning benchmarks. Furthermore, OWP generalizes effectively to VideoLLaMA2-AV, improving performance by 4.6 and 3.9 points on the same benchmarks. Code is publicly available at https://github.com/ZiiJianLiu/Omni-Woodpecker
• Abstract（参考訳）: 近年のOmni LLM (OLLMs) は, 共同音声・視覚的推論において顕著な機能を示したが, クロスモーダル幻覚は依然として大きな課題である。 既存の緩和法は主に出力レベルで動作し、根拠となる証拠の絡み目を見渡して、融合した表現の中で事前を学習した。 この問題に対処するため、我々は、幻覚の緩和を出力レベルの操作からコンフリクト条件の表現再バランスに移行する訓練不要のフレームワークであるOmni-Woodpecker (OWP)を提案する。 具体的には、OWPはまず、相補的なモダリティ固有の見解から、モダリティ間の衝突を識別する。 その後、直交分解を用いて、隠れた状態内の競合する先行状態から根拠的証拠を分離する。 最後にOWPは、誤解を招く先行を抑え、復号する前に無視された証拠を復元することで、融合表現を適応的に再バランスさせる。 大規模な実験はOWPの有効性と強いクロスアーキテクチャの一般化を示す。 Qwen2.5-Omni-7B をバックボーンとして、OWP は CMM と AVHBench でそれぞれ 12.9 と 8.6 を向上し、4つの一般的なOLLM 推論ベンチマークで 0.67-2.25 を連続的に獲得した。 さらに、OWPはVideoLLaMA2-AVに効果的に一般化し、同じベンチマークでパフォーマンスを4.6と3.9ポイント改善した。 コードはhttps://github.com/ZiiJianLiu/Omni-Woodpeckerで公開されている。

関連論文リスト

• Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation [35.94927596542353]
  LVLM(Large Vision-Language Models)は高度なマルチモーダル理解を持つが、その信頼性は幻覚によって制限される。 本稿では,幻覚を緩和するための幾何学的枠組みであるAOD(Adrial Orthogonal Disentanglement)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T03:05:04Z)
• Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation [86.37623966653688]
  大規模視覚言語モデル(LVLM)はますます強まりつつあるが、マルチモーダルタスクにおいて幻覚を起こす傾向にある。 幻覚を避けるためにこれらのLVLMを訓練することは、より大きなモデルでは違法に高価になるため、トレーニングフリーな手法はこの問題に対して安価で柔軟な解決策を提供する。 我々は,視覚的視覚的接地剤とエビデンスを検証した自己修復機構を組み合わせた,LVLM幻覚軽減のためのトレーニングフリーフレームワークであるKestrelを提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:30:47Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• Antidote: A Unified Framework for Mitigating LVLM Hallucinations in Counterfactual Presupposition and Object Perception [28.351994916635423]
  反実的前提問題(CPQ)の解決におけるLVLMの脆弱性について論じる。 両種類の幻覚を緩和するための統合的・総合的なデータ駆動後学習フレームワークであるAntidoteを紹介した。 我々は,LVLMがCPQを正しく処理し,実応答を生成する能力を評価するための新しいベンチマーク「CP-Bench」を構築した。
  論文  参考訳（メタデータ） (2025-04-29T07:05:24Z)
• Exploring Hallucination of Large Multimodal Models in Video Understanding: Benchmark, Analysis and Mitigation [49.885797244626694]
  大型マルチモーダルモデル(LMM)の幻覚は、正しいように見えるが実際には正しくない応答を提供する。 本稿では,ビデオモダリティにおけるLMMの幻覚問題について検討することを目的としている。
  論文  参考訳（メタデータ） (2025-03-25T13:12:17Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。