論文の概要: AnchorPrompt: Self-Distilled Soft Prompts for Robust Audio-Language Models
- arxiv url: http://arxiv.org/abs/2610.00706v1
- Date: Wed, 30 Sep 2026 20:53:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.764386
- Title: AnchorPrompt: Self-Distilled Soft Prompts for Robust Audio-Language Models
- Title（参考訳）: AnchorPrompt:ロバストなオーディオ言語モデルのための自己拡張型ソフトプロンプト
- Abstract要約: 大型オーディオ言語モデル(LALM)は入力摂動に敏感である。
AnchorPromptは、モデルを凍結し続ける効率的な適応法である。
AnchorPromptは、ほとんどのテスト条件において、応答整合性を改善する。
- 参考スコア（独自算出の注目度）: 27.146854606054575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large audio-language models (LALMs) are sensitive to input perturbations, such as noise, waveform corruption, and adversarial injections. We propose AnchorPrompt, an efficient adaptation method that keeps the model frozen and learns a single block of prompt vectors inserted at the decoder input, between the audio and question embeddings. We train these vectors through self-distillation over diverse audio and text perturbations. To improve answer consistency and mitigate hallucination, we use the model's prediction on the clean recording as the target for answerable inputs, and assign a refusal target when the audio lacks sufficient evidence to answer. Furthermore, AnchorPrompt is perturbation-agnostic at inference, requiring no prior detection of perturbations and enabling zero-shot transfer to unseen distortions. We evaluate three LALMs across three benchmarks and show that AnchorPrompt improves answer consistency in most tested conditions. Clean accuracy improves in six of nine model-benchmark pairs, with minimal impact on the remainder of 1.2% at most. Crucially, AnchorPrompt reduces hallucinations under severe audio corruption while keeping false refusals on clean audio rare. Finally, these consistency gains transfer to unseen perturbations, such as choice permutations and reverberation.
- Abstract（参考訳）: 大型オーディオ言語モデル(LALM)は、ノイズ、波形劣化、対向注入などの入力摂動に敏感である。
AnchorPromptは,デコーダ入力に挿入された1ブロックのプロンプトベクトルを,音声と質問の埋め込みの間で学習する。
我々はこれらのベクトルを多様な音声とテキストの摂動による自己蒸留によって訓練する。
応答の整合性の向上と幻覚の緩和のために、クリーンな記録におけるモデルの予測を応答可能な入力対象とし、音声に答える十分な証拠がない場合に拒否対象を割り当てる。
さらに、AnchorPromptは摂動に依存しない推論であり、摂動を事前に検出する必要がなく、目に見えない歪みへのゼロショット転送を可能にする。
3つのベンチマークで3つのLALMを評価し,AnchorPromptがほとんどのテスト条件で解の整合性を改善することを示す。
クリーンな精度は9つのモデルベンチマークペアのうち6つで改善され、ほとんどの場合1.2%の残りに最小限の影響を与える。
重要なことは、AnchorPromptは、清潔なオーディオに虚偽の拒絶を保ちながら、重度のオーディオ汚染下での幻覚を減らす。
最後に、これらの一貫性は選択置換や残響のような目に見えない摂動に遷移する。
関連論文リスト
- I'll Keep an Ear Out: Teaching AudioLLMs Proactive Audio Assistance [9.80270731613482]
本稿では,AudioLLMが音声ストリームを監視し,ユーザに対して1つの自然言語インテントから警告するタイミングを自律的に決定する,プロアクティブオーディオアシストを導入する。
本稿では,2つの特別なトークンによるLCMデコーディングに積極的決定を組み込むモデル非依存のパラダイムであるInterrupt and Silent Modeling (ISM)を提案する。
ノイズの多いEpic-Soundsキッチンオーディオでは、ISMはドメイン固有のトレーニングなしで最高の割り込みF1を達成する。
論文 参考訳（メタデータ） (2026-09-18T01:04:53Z) - Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition [50.15288513086986]
コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。
AVSR用CDの信頼性を考慮したスケーリングを提案する。
論文 参考訳（メタデータ） (2026-08-26T08:25:15Z) - Encoder-Side Neuron Identification and Amplification for Acoustic Perception in Large Audio-Language Models [47.620410539694774]
本稿では、オーディオエンコーダにおける各フィードフォワードニューロンをスコアする、トレーニングフリーでラベルフリーなIAANを紹介する。
これは推論時に最も高いスコアのニューロンの小さな集合を増幅する。
平均精度はAudio-Flamingo-3で25.7ポイント、Qwen2.5-Omniで21.4ポイント、Kimi-Audioで9.7ポイント向上している。
論文 参考訳（メタデータ） (2026-07-13T16:53:08Z) - Adaptive Perturbation Selection for Contrastive Audio Decoding [17.576102240052503]
大規模な音声言語モデル(LALM)は、しばしば言語先行と音響的証拠をオーバーライドすることによって幻覚を与える。
対照的な復号法(CD)はトレーニングなしの緩和を提供するが、既存の方法はマスキングやノイズのような鈍い摂動に依存している。
対象とする音声摂動の多様なライブラリを評価し,各タスクに対して最適な負の分岐を適応的に選択することで,この設計空間を探索する。
論文 参考訳（メタデータ） (2026-06-30T22:55:22Z) - A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。
メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。
拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
論文 参考訳（メタデータ） (2026-06-16T01:57:56Z) - Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。
標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。
調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。
トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
論文 参考訳（メタデータ） (2026-06-05T14:26:06Z) - Proactive for Uncertainty: Cause-Aware Error Diagnosis and Interactive Clarification for Spoken Dialogue Systems [40.265250435329456]
本稿では,SDSにおけるロバスト性を根本的に再考する原因認識型エラー回復パラダイムを提案する。
従来の信頼度フィルタリングとは異なり、我々は小さな精度に焦点を絞った検出器群を導入している。
この微細な診断知能は、LLMがターゲットとするマルチターンの明確化戦略を編成する権限を与える。
論文 参考訳（メタデータ） (2026-05-25T03:57:38Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - Listen Like a Teacher: Mitigating Whisper Hallucinations using Adaptive Layer Attention and Knowledge Distillation [9.486565210140279]
Whisperモデルは、多言語およびゼロショット設定における強力なパフォーマンスのために広く採用されている。
ウィスパースタイルのASRシステムにおける幻覚を減らすための以前の研究は、主に誤ったコンテンツをフィルタリングするために、音声前処理や書き起こしの後処理に重点を置いていた。
本稿では,まずアダプティブ・レイヤ・アテンション(ALA)を用いてエンコーダのロバスト性を向上し,多目的知識蒸留(KD)フレームワークを用いた幻覚を抑制する2段階アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-11-18T07:52:47Z) - Multi-task self-supervised learning for Robust Speech Recognition [75.11748484288229]
本稿では,雑音および残響環境下での頑健な音声認識のためのPASE+を提案する。
我々は、様々なランダムな乱れで入力信号を汚染するオンライン音声歪みモジュールを用いる。
次に,再帰型ネットワークと畳み込み型ネットワークを効率よく組み合わせて,短時間および長期の音声力学をよりよく学習する改良型エンコーダを提案する。
論文 参考訳（メタデータ） (2020-01-25T00:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。