論文の概要: Selective Listening: Mechanism-Guided Control of Audio Influence in Large Audio-Language Models
- arxiv url: http://arxiv.org/abs/2610.11196v1
- Date: Thu, 08 Oct 2026 04:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.790951
- Title: Selective Listening: Mechanism-Guided Control of Audio Influence in Large Audio-Language Models
- Title（参考訳）: 選択的聴取:大規模音声言語モデルにおける音声影響のメカニズム誘導制御
- Abstract要約: 大規模な音声言語モデル(LALM)はマルチモーダルなエビデンスを利用するが、タスク非関連オーディオは、リスニングが不要な場合にテキスト推論の決定を変更することができる。
ICAP-Gateを導入し、各モデルの経路に機構誘導されたタスク条件制御を適用する。
ICAP-Gateは、全16のフルスプリットモデル-条件評価において、アンゲート推論よりも影響率とアンサーフリップの点推定が低い。
- 参考スコア（独自算出の注目度）: 36.777488370483404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large audio-language models (LALMs) exploit multimodal evidence, yet task-irrelevant audio can alter text-reasoning decisions when listening is unnecessary. Aggregate Accuracy can hide this paired drift because audio-induced repairs and damages may cancel. Paired drift analysis and targeted interventions identify architecture-specific, intervention-sensitive late audio pathways as actionable control points. We introduce ICAP-Gate, which applies mechanism-guided, task-conditioned control to each model's pathway. Across four LALMs, two reasoning benchmarks, and environmental-sound and natural-speech interference, ICAP-Gate has lower point estimates for Influence Rate and Answer Flip than ungated inference in all 16 full-split model--condition evaluations. Fixed suppression degrades automatic speech recognition (ASR) across all four models, whereas ICAP-Gate matches ungated ASR performance by preserving the pathway for explicit audio-demand instructions. ICAP-Gate has lower paired-drift point estimates than mitigation prompting in all four evaluated settings and provides competitive stabilization relative to eight-sample Self-Consistency while using one generation per query; in controlled ARC measurements, Self-Consistency incurs $7.0$--$9.2\times$ ungated latency. These results establish selective modality influence control as a design principle for robust multimodal reasoning.
- Abstract（参考訳）: 大規模な音声言語モデル(LALM)はマルチモーダルなエビデンスを利用するが、タスク非関連オーディオは、リスニングが不要な場合にテキスト推論の決定を変更することができる。
アグリゲート精度は、オーディオによる修理や損傷がキャンセルされる可能性があるため、このペアドリフトを隠すことができる。
ペアドリフト分析とターゲット介入は、アーキテクチャ固有の、介入に敏感な遅延オーディオパスを実行可能な制御ポイントとして識別する。
ICAP-Gateを導入し、各モデルの経路に機構誘導されたタスク条件制御を適用する。
4つのLALM、2つの推論ベンチマーク、環境音と自然音声の干渉、ICAP-Gateは、全16のフルスプリットモデル-条件評価において、アンゲート推論よりも影響率とアンサーフリップの点推定が低い。
固定抑制は、4つのモデルすべてで自動音声認識(ASR)を劣化させるが、ICAP-Gateは明示的な音声要求命令の経路を保存することで、アンゲートされたASRのパフォーマンスにマッチする。
ICAP-Gateは、評価された4つの設定すべてにおいて緩和を促すよりもペアドリフトポイント推定が低く、クエリ毎に1世代ずつ使用しながら8サンプルのセルフ一貫性に対して競合安定化を提供する。
これらの結果は、ロバストなマルチモーダル推論の設計原理として、選択的モダリティ影響制御を確立する。
関連論文リスト
- Asymmetric Classifier-Free Guidance for Target-Speaker ASR [2.7023796303812193]
Whisper を用いた TS-ASR のための非対称分類器フリーガイダンス (CFG) を導入する。
CFGは1つのガイダンス尺度を通じてデコード中の話者条件付けの寄与を調整する。
ドメインシフトでは,条件のみのベースライン上での単語誤り率(WER)を最大21.8%削減する。
論文 参考訳（メタデータ） (2026-09-24T19:16:16Z) - Audio-Visual Turn-taking Prediction in Cocktail Party Scenarios [10.275726926689861]
現在のPTTM(Predictive turn-take model)は、制御された音響条件とクリーンな音声信号を持つベンチマークにおいて、強い性能を達成する。
我々は、AVCocktailデータセットから得られた挑戦的なカクテルパーティーテストベッド上で、クリーンなデータで訓練された音声・視覚PTTMを評価した。
論文 参考訳（メタデータ） (2026-09-15T12:06:16Z) - Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition [50.15288513086986]
コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。
AVSR用CDの信頼性を考慮したスケーリングを提案する。
論文 参考訳（メタデータ） (2026-08-26T08:25:15Z) - ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refinement for Joint Multi-Resolution Speech Quality Modeling [62.983372215479925]
ストリーミングと生成システムは、部分的なオーディオから漸進的な推定を必要とする。
多分解能オートレタスクとしてインクリメンタルアセスメントを改良したANCHORを提案する。
2秒プレフィックスの48%のPLCMOSエラー削減を含む、部分入力下でのかなりの堅牢性を示す実験。
論文 参考訳（メタデータ） (2026-06-08T22:46:30Z) - Cascading Hallucination in Agentic RAG: The CHARM Framework for Detection and Mitigation [0.0]
マルチステップ推論パイプラインにおけるエラー伝搬の検出と中断を行うアーキテクチャフレームワークであるCHARMを紹介する。
CHARMは、ステージレベルの事実検証、クロスステージの一貫性トラッキング、信頼性の監視、カスケード解決トリガの4つのコンポーネントで構成されている。
我々は,HotpotQA,MuSiQue,2WikiMultiHopQA上のCHARMと,LangChainのエージェントパイプライン構成にまたがる独自の逆データセットを評価する。
論文 参考訳（メタデータ） (2026-06-03T04:33:47Z) - Bi-Predictability: A Real-Time Signal for Monitoring LLM Interaction Integrity [0.0]
両予測可能性(P)を用いて,マルチターンインタラクションの整合性を継続的に監視できることが示される。
Information Digital Twin (IDT) は、コンテキスト、応答、次のプロンプトループを二次推論や埋め込みなしでPを推定する軽量アーキテクチャである。
論文 参考訳（メタデータ） (2026-03-18T18:10:37Z) - $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction [80.57232374640911]
我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。
MARは、モダリティ間およびモダリティ間コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。
各サンプルの難易度を向上するために, 精細信頼スコア(FCS)モデルを導入する。
論文 参考訳（メタデータ） (2025-04-01T13:01:30Z) - Convoifilter: A case study of doing cocktail party speech recognition [59.80042864360884]
このモデルは、このアプローチにより、ASRの単語誤り率(WER)を80%から26.4%に下げることができる。
我々はオープンに事前学習モデルを共有し、hf.co/nguyenvulebinh/voice-filterのさらなる研究を促進する。
論文 参考訳（メタデータ） (2023-08-22T12:09:30Z) - A Conformer Based Acoustic Model for Robust Automatic Speech Recognition [63.242128956046024]
提案手法は,二方向長短期記憶(BLSTM)モデルと発話ワイドドロップアウトと反復話者適応を用いて,最先端の音声認識システムを構築した。
コンフォーマーエンコーダは、音響モデリングに畳み込み強化されたアテンションメカニズムを使用する。
提案システムはCHiME-4コーパスの単調なASRタスクに基づいて評価される。
論文 参考訳（メタデータ） (2022-03-01T20:17:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。