論文の概要: Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2610.02976v1
• Date: Fri, 02 Oct 2026 08:09:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.275831
• Title: Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation
• Title（参考訳）: 聴覚的幻覚軽減のための関連エビデンス復号法
• Abstract要約: 我々は,質問関連証拠を特定し,その貢献を選択的に強化する訓練不要な手法である関連証拠復号法(RED)を紹介した。 REDはCMMで最大7%、AVHBenchで6.3%、SVHallucで3.8%、標準デコードで1.5倍の相対時間で標準デコーディングの精度を向上させる。
• 参考スコア（独自算出の注目度）: 12.490648559710861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-Visual Large Language Models (AV-LLMs) remain prone to cross-modal hallucinations, where one modality incorrectly affects predictions about another. Although contrastive decoding reduces hallucinations in vision-language models, its direct extension to AV-LLMs overlooks a key challenge: different questions require different perceptual evidence, including audio, video, or their interaction. Notably, we observe that joint audio-visual inference can weaken the prediction even when a model can recover the correct answer from a single informative modality. For example, when asked which instrument is heard, a model may correctly predict violin from the audio alone. Once a video showing a guitar is added, its confidence in violin may drop. In this paper, we introduce Relevant Evidence Decoding (RED), a training-free method that identifies question-relevant evidence and selectively strengthens its contribution. RED uses pointwise mutual information to quantify the predictive support provided by audio and video beyond the question alone. It decomposes their joint contribution into audio, video, and residual interaction components. A question-only inference pass determines the required evidence type, after which the model augments the original audio-visual prediction with the corresponding PMI contribution. Across three audio-visual hallucination benchmarks and three AV-LLMs, RED improves accuracy over standard decoding by up to 7% on CMM, 6.3% on AVHBench, and 3.8% on SVHalluc, with an average relative time to first token of 1.5x standard decoding.
• Abstract（参考訳）: オーディオ・ビジュアル・大言語モデル(AV-LLM)は、あるモダリティが別のモダリティの予測に誤って影響を及ぼすという、モダリカル・幻覚の傾向を保っている。 対照的な復号化は視覚言語モデルの幻覚を減少させるが、AV-LLMへの直接拡張は重要な課題を見落としている。 特に,1つの情報モダリティからモデルが正解を回復できる場合でも,共同音声・視覚的推論が予測を弱めることが観察された。 例えば、どの楽器が聴かれるかを尋ねると、モデルは音声だけでヴァイオリンを正確に予測することができる。 ギターを見せるビデオが加わったら、ヴァイオリンへの自信は低下するかもしれない。 本稿では,質問関連証拠を識別し,その寄与を選択的に強化する訓練不要な手法であるrelevant Evidence Decoding(RED)を紹介する。 REDは、ポイントワイドな相互情報を使用して、音声とビデオが提供する予測サポートを、質問だけでなく、定量化する。 オーディオ、ビデオ、残留相互作用コンポーネントへの共同貢献を分解する。 質問専用推論パスは、必要なエビデンスタイプを決定し、その後、モデルが対応するPMIコントリビューションで元の音声視覚予測を増強する。 3つのオーディオ視覚幻覚ベンチマークと3つのAV-LLMで、REDは標準復号の精度をCMMで最大7%、AVHBenchで6.3%、SVHallucで3.8%改善し、標準復号のトークンの平均相対時間は1.5倍である。

関連論文リスト

• When Vision Speaks for Sound [31.08404410801052]
  ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。 この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。 我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
  論文  参考訳（メタデータ） (2026-05-13T05:00:19Z)
• Exploring Audio Hallucination in Egocentric Video Understanding [66.1760617001607]
  最先端の大規模音声視覚言語モデル(AV-LLM)はマルチモーダルな記述を生成することができる。 本研究では、視覚的手がかりから音を推測するが、聴くことができない。
  論文  参考訳（メタデータ） (2026-04-26T20:06:58Z)
• JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation [16.067014259345743]
  我々は、データセット上で、視覚のみ、音声のみ、およびOmni-LLMを優先的に評価する。 最高性能のOmni-LLMでさえ平均精度は62.6%であり、ユニモーダルベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-14T17:23:21Z)
• Reducing Object Hallucination in Large Audio-Language Models via Audio-Aware Decoding [54.82619273983179]
  LALM(Large Audio-Language Models)は、オーディオに提示されるものを幻覚させる。 LALMの幻覚を軽減するためにオーディオ・アウェア・デコーディング(AAD)を導入する。 AADはコントラストデコーディングを使用して、トークン予測ログとオーディオコンテキストの有無を比較します。
  論文  参考訳（メタデータ） (2025-06-08T17:36:50Z)
• AVCD: Mitigating Hallucinations in Audio-Visual Large Language Models through Contrastive Decoding [38.71842806548495]
  本稿では,3モーダル相互作用をモデル化し,大言語モデル(MLLM)における幻覚を抑制するために,AVCD(Audio-Visual Contrastive Decoding)を提案する。 効率を向上させるために,モデルの予測に対する信頼度に基づいて不要な復号ステップをスキップするエントロピー誘導適応復号を導入する。
  論文  参考訳（メタデータ） (2025-05-27T08:13:57Z)
• Answering Diverse Questions via Text Attached with Key Audio-Visual Clues [24.347420432207283]
  本稿では,相互相関蒸留(MCD)を行うための枠組みを提案する。 提案手法は,複数の問合せ対を含む2つの公開データセットに対して評価する。
  論文  参考訳（メタデータ） (2024-03-11T12:51:37Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Learning to Answer Questions in Dynamic Audio-Visual Scenarios [81.19017026999218]
  本稿では,視覚的物体の異なる音と映像の関連性に関する質問に答えることを目的としたAVQAタスクに着目した。 我々のデータセットには、様々なモダリティと質問タイプにまたがる45万以上の質問応答ペアが含まれています。 A-SIC, V-SIC, AVQA のアプローチでは, AVQA は多感性知覚の恩恵を受けており, モデルでは近年の A-SIC, V-SIC, AVQA のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-26T13:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。