論文の概要: Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models

• arxiv url: http://arxiv.org/abs/2604.14129v1
• Date: Wed, 15 Apr 2026 17:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.666477
• Title: Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models
• Title（参考訳）: ビデオ通話を許さない:オーディオ・ビジュアル言語モデルのための音声コントラスト優先最適化
• Authors: Ami Baid, Zihui Xue, Kristen Grauman,
• Abstract要約: オーディオ・ビジュアル言語モデル(AVLM)によるクロスモーダル幻覚のボトルネック 本稿では、この深い視覚的優位性に対応するために、オーディオコントラスト優先最適化(ACPO)を提案する。 ACPOは、音響事実としての視覚的記述をペナライズする出力コントラスト目的と、真の聴覚信号に不変な生成を明示的にペナライズするためにオーディオトラックを交換する入力コントラスト目的を導入する。
• 参考スコア（独自算出の注目度）: 57.29797562658234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Audio-Visual Language Models (AVLMs) have achieved remarkable progress over recent years, their reliability is bottlenecked by cross-modal hallucination. A particularly pervasive manifestation is video-driven audio hallucination: models routinely exploit visual shortcuts to hallucinate expected sounds, discarding true auditory evidence. To counteract this deeply ingrained visual dominance, we propose Audio-Contrastive Preference Optimization (ACPO). This dual-axis preference learning framework introduces an output-contrastive objective to penalize visual descriptions masquerading as audio facts, alongside an input-contrastive objective that swaps audio tracks to explicitly penalize generation invariant to the true auditory signal. Extensive experiments demonstrate that ACPO establishes highly faithful audio grounding and mitigates audio hallucination without compromising overarching multimodal capabilities.
• Abstract（参考訳）: 近年,オーディオ・ビジュアル言語モデル (AVLM) は目覚ましい進歩を遂げているが,その信頼性はモデム間の幻覚によってボトルネックになっている。 モデルは予想される音を幻覚させるために視覚的ショートカットを日常的に利用し、真の聴覚的証拠を捨てる。 このような視覚的優位性に対処するため,音響コントラスト優先最適化(ACPO)を提案する。 この2軸選好学習フレームワークは、音声の事実として生ずる視覚的記述をペナルティ化する出力コントラスト的目的と、音声トラックを交換して真の聴覚信号に不変な生成を明示的にペナルティ化する入力コントラスト的目的を導入する。 広汎な実験により、ACPOは、マルチモーダル機能に妥協することなく、高度に忠実なオーディオ接地を確立し、オーディオ幻覚を緩和することを示した。

関連論文リスト

• OmniDPO: A Preference Optimization Framework to Address Omni-Modal Hallucination [32.43796002503023]
  Omni-modal large language model (OLLM) における幻覚を軽減するために設計された好み調整フレームワークであるOmniDPOを提案する。 両課題に対処することにより、OmniDPOはマルチモーダルグラウンドを効果的に改善し、幻覚を減少させる。
  論文  参考訳（メタデータ） (2025-08-31T07:19:32Z)
• Teaching Audio-Aware Large Language Models What Does Not Hear: Mitigating Hallucinations through Synthesized Negative Samples [55.2480439325792]
  近年の音声対応大型言語モデル(ALLM)により、音声入力の処理と理解が可能になった。 これらのモデルは、しばしば既存の音響イベントを幻覚させ、現実の応用における信頼性を低下させる。 LISTENは、現在と欠落した音を識別するallMsの能力を向上するコントラスト的な訓練法である。
  論文  参考訳（メタデータ） (2025-05-20T15:44:01Z)
• Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention [54.4258176885084]
  曖昧な音を正確に認識する方法は、音声キャプションにとって大きな課題である。 本稿では,視覚情報を利用して不明瞭な音の物体の記述を支援する視覚認識型音声キャプションを提案する。 提案手法は,機械翻訳メトリクスの最先端結果を実現する。
  論文  参考訳（メタデータ） (2022-10-28T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。