論文の概要: Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination
- arxiv url: http://arxiv.org/abs/2610.13112v1
- Date: Fri, 09 Oct 2026 07:06:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.444507
- Title: Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination
- Title(参考訳): 位置は重要か? LALM幻聴におけるモデル依存音声グラウンドのブラックボックス聴取
- Abstract要約: 大規模な音声言語モデル(LALM)は、しばしばオブジェクト幻覚を示し、欠落した音を肯定する。
我々は,主張する証拠そのものを分離するブラックボックス因果検査を導入する。
空白と言語優先のコントラストを組み合わせたコントラストデコードでは、Qwen2-Audioの精度は57.1%から71.9%に向上し、AADを勝っている。
- 参考スコア(独自算出の注目度): 11.774459974874587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large audio-language models (LALMs) frequently exhibit object hallucination, affirming absent sounds. The dominant mitigation, Audio-Aware Decoding (AAD), contrasts logits under real audio against an all-zero "blank" waveform, flagged by prior review as out-of-distribution. We introduce a black-box causal test that isolates the claimed evidence itself: localize a claim's evidence region via CLAP similarity, remove it by spectral gating, and compare against a random-window control across a 2x2x2 grid on three LALMs. On Qwen2-Audio-7B, localized ablation's raw AUROC trails blank's (0.613 vs. 0.721); this is a duration confound, not a localization failure, since blank removes the entire clip versus the grid's 2-4 s. Holding duration fixed, localization beats random removal at every cell on both models. Raw detection value remains model-dependent, especially on Audio Flamingo 3. The same evidence corrects decoding: contrastive decoding combining blank and language-prior contrasts, gated and ensembled, raises Qwen2-Audio accuracy from 57.1% to 71.9%, beating AAD alone. A unified causal-grounding profile does not transfer between models, indicating different grounding regimes. The source code and a detailed report of our findings, including identified limitations, are available at https://github.com/khalooei/causa.
- Abstract(参考訳): 大規模な音声言語モデル(LALM)は、しばしばオブジェクト幻覚を示し、欠落した音を肯定する。
支配的な緩和であるAAD(Audio-Aware Decoding)は、実際のオーディオ下でのロジットと、事前のレビューでアウト・オブ・ディストリビューション(out-of-distribution)としてフラグ付けされたオールゼロの"ブランク"波形との対比である。
クレームのエビデンス領域をCLAP類似性によりローカライズし、スペクトルゲーティングにより除去し、3つのLALM上の2x2x2グリッドのランダムウィンドウ制御と比較する。
Qwen2-Audio-7Bでは、ローカライズされたアブレーションの生のAUROCトレイルが空白(0.613 vs. 0.721)となる。
固定期間を保ちながら、両方のモデル上の全てのセルでランダムに除去される。
特にAudio Flamingo 3では、生検値がモデルに依存している。
同じ証拠は復号を訂正している: 空白と言語優先のコントラストを組み合わせたコントラストデコード、ゲートとアンサンブルにより、Qwen2-Audioの精度は57.1%から71.9%に上昇し、AADのみを上回っている。
統一された因果基底プロファイルはモデル間を移動せず、異なる基底状態を示す。
ソースコードと、特定された制限を含む我々の発見に関する詳細なレポートは、https://github.com/khalooei/causa.comで公開されている。
関連論文リスト
- Relevant Evidence Decoding for Audio-Visual Hallucination Mitigation [12.490648559710861]
我々は,質問関連証拠を特定し,その貢献を選択的に強化する訓練不要な手法である関連証拠復号法(RED)を紹介した。
REDはCMMで最大7%、AVHBenchで6.3%、SVHallucで3.8%、標準デコードで1.5倍の相対時間で標準デコーディングの精度を向上させる。
論文 参考訳(メタデータ) (2026-10-02T08:09:19Z) - TAD: Token-Adaptive Contrastive Decoding with Confidence-Guided Gating for Hallucination Mitigation in Large Audio-Language Models [9.497925590553857]
大型オーディオ言語モデル(LALM)は、音響オブジェクトを幻覚させ、音のイベントに「はい」と答える。
本研究では,幻覚緩和のための学習自由戦略であるToken-Adaptive Decoding (TAD)を提案する。
論文 参考訳(メタデータ) (2026-09-07T09:54:52Z) - Causal Localization of the Refusal Direction in Audio Language Models [51.56484100374058]
大きな音声言語モデルは、音声フロントエンドをテキスト言語モデルにアタッチする。
そのようなモデルが有害な音声要求を拒否した場合、その拒絶はフロントエンドによって運ばれるか、あるいはテキストLMから受け継がれているか?
我々は,各モデルの音声-LMインタフェースと試験されたLM残層において,良性のプロンプトから有害な方向を分離し,その成分を吸収し,結果として得られたモデルの最初の拒絶マージンの変化を測定する。
論文 参考訳(メタデータ) (2026-09-06T17:29:43Z) - HalluAudio: A Comprehensive Benchmark for Hallucination Detection in Large Audio-Language Models [30.18524844766061]
HalluAudioは、音声、環境音、音楽の幻覚を評価するための最初の大規模ベンチマークである。
HalluAudioは、5万以上の人間による検証されたQAペアで構成され、バイナリ判断、複数選択推論、属性検証、オープンエンドQAなど、さまざまなタスクタイプにまたがる。
以上の結果から, 音場, 時間的推論, 音楽属性の理解において, 信頼性とロバスト性を考慮したLALMの必要性が示唆された。
論文 参考訳(メタデータ) (2026-04-21T10:05:28Z) - How Contrastive Decoding Enhances Large Audio Language Models? [49.26664187543512]
Contrastive Decoding (CD) は,Large Audio Language Models (LALM) の強化に有効であることが証明された。
本研究はLALMアーキテクチャの異なる4つのCD戦略を体系的に評価する。
オーディオ・アウェア・デコーディングとオーディオ・コントラスト・デコーディングを最も効果的な方法として同定する。
論文 参考訳(メタデータ) (2026-03-10T06:05:51Z) - Reducing Object Hallucination in Large Audio-Language Models via Audio-Aware Decoding [54.82619273983179]
LALM(Large Audio-Language Models)は、オーディオに提示されるものを幻覚させる。
LALMの幻覚を軽減するためにオーディオ・アウェア・デコーディング(AAD)を導入する。
AADはコントラストデコーディングを使用して、トークン予測ログとオーディオコンテキストの有無を比較します。
論文 参考訳(メタデータ) (2025-06-08T17:36:50Z) - LAVSS: Location-Guided Audio-Visual Spatial Audio Separation [52.44052357829296]
位置誘導型空間空間オーディオセパレータを提案する。
提案するLAVSSは,空間的オーディオと視覚的位置の相関に着想を得たものである。
さらに,事前学習したモノラル分離器を用いて,豊かなモノラル音からの知識を伝達し,空間的音声分離を促進する。
論文 参考訳(メタデータ) (2023-10-31T13:30:24Z) - Visual Sound Localization in the Wild by Cross-Modal Interference
Erasing [90.21476231683008]
現実のシナリオでは、オーディオは通常、オフスクリーンサウンドとバックグラウンドノイズによって汚染される。
本研究では,音声-視覚的音源定位問題に対処する干渉消去(IEr)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-13T21:06:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。