論文の概要: Do Audio LLMs Listen Before They Act? Diagnosing Acoustic-Context Gating in Voice Agents

• arxiv url: http://arxiv.org/abs/2609.32536v1
• Date: Sat, 26 Sep 2026 12:16:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 06:59:26.873019
• Title: Do Audio LLMs Listen Before They Act? Diagnosing Acoustic-Context Gating in Voice Agents
• Title（参考訳）: 音声 LLM は行動の前に聴くか? : 音声エージェントにおける音環境ゲーティングの診断
• Abstract要約: VGBenchは、サイドトーク、セルフトーク、スピーカースイッチシナリオにまたがるアクションレベルのアドレス性のベンチマークである。 孤立した話者識別ではなく、マルチキュー音響コンテキストゲーティングを測定する。
• 参考スコア（独自算出の注目度）: 0.9743693761871391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio language models can recognize spoken commands and invoke tools, but an agent must first decide whether the acoustic and conversational context warrants action. We introduce VGBench, a 1,018-item diagnostic benchmark for action-level addressedness across side-talk, self-talk, and speaker-switch scenarios. Each item uses a shared action space comprising silence, a tool call, and a natural-language answer. Speaker-switch pairs hold the specified words fixed while source, distance rendering, and a temporal boundary define a controlled wearer-to-bystander shift. Six raw Audio LLMs and three training-free adaptations often identify the target tool yet rarely withhold action under this shift; the highest raw switch mute rate is 14%. We then use VoxGate as a post-training case study. Supervised training mutes 91.3% of switched commands while choosing the correct tool for all nearby wearer commands and text-only controls. An exploratory GRPO stage has similar switch performance; side-talk accuracy rises from 68.4% to 70.9%, and self-talk muting from 52.0% to 60.0%. Factorized controls identify an independent source-change effect, while sensitivity to the far-field manipulation varies across acoustic renderings. The benchmark therefore measures multi-cue acoustic-context gating rather than isolated speaker identity.
• Abstract（参考訳）: 音声言語モデルは、音声コマンドを認識してツールを呼び出すことができるが、エージェントはまず、音響的および会話的コンテキストが行動を保証するかどうかを判断する必要がある。 VGBenchは、サイドトーク、セルフトーク、スピーカースイッチシナリオにまたがるアクションレベルのアドレス性に対する1018itemの診断ベンチマークである。 各項目は、沈黙、ツールコール、自然言語応答からなる共有アクション空間を使用する。 話者と話者のペアは、ソース、距離レンダリング、時間境界が制御された着用者から傍観者へのシフトを定義するときに、所定の単語を固定する。 6つの生のオーディオLLMと3つのトレーニングなし適応は、目標ツールをしばしば識別するが、このシフトの下でアクションを保留することは滅多になく、最も高い生のスイッチミュートレートは14%である。 次に、トレーニング後のケーススタディとしてVoxGateを使用します。 監督訓練では、交換コマンドの91.3%がミュートされ、近隣のすべての着用者コマンドとテキストのみのコントロールのための正しいツールが選択された。 探索的なGRPOステージも同様なスイッチ性能を持ち、サイドトークの精度は68.4%から70.9%に上昇し、セルフトークのミューティングは52.0%から60.0%に上昇した。 因子制御はソース変更効果を独立に識別するが、遠距離場操作に対する感度は音響的レンダリングによって異なる。 したがって、このベンチマークは、孤立した話者識別ではなく、マルチキュー音響コンテキストゲーティングを測定する。

関連論文リスト

• Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction [36.155594348195784]
  我々は、Think、Act、Speak Coordinateという、ツールの使用、フィードバックの解釈、タスクの完了をモデルに教えるツールを紹介します。 また、Qwen-Audio-3.0-Realtimeを前景として使用し、コーディネーションメモリによる音声対話を永続的なタスクに拡張する、別のVoice Harnessプロトタイプも提示する。
  論文  参考訳（メタデータ） (2026-09-21T14:20:47Z)
• Auditing Generative Audio Calls for Known-Task Audio-LLM Evaluation [8.345705067210861]
  既知のクローズドセットタスクでは、音響的エビデンスへのアクセスと、生成的オーディオモデルを呼び出す必要性が重要である。 我々はこの区別を制御された呼判断問題として評価する。 既知のタスクエンドポイントのクレームに対して、関連する量は、転写とエンコーダの証拠が既に使われている後の生成呼び出しの限界値である。
  論文  参考訳（メタデータ） (2026-08-28T01:33:47Z)
• Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models [51.56484100374058]
  LALM(Large Audio-Language Models)は、音声理解において優れるが、音声信号のどこにあるかはほとんど明らかにしない。 本稿では,命令に基づくベクトルステアリングについて紹介する。これは音声を固定したまま,異なる指示されたプロンプトからのアクティベーションをコントラストすることで,ステアリングベクトルを構成する。 LALMにおける命令ベースステアリングの力学特性を特徴付けるとともに,これらのモデルが符号化した潜時構造に対する訓練不要プローブを提供する。
  論文  参考訳（メタデータ） (2026-06-09T19:44:46Z)
• Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception [142.4692205981783]
  我々は,外部の音声知覚をいつ信頼するか,いつ外部の音声知覚を相談するかを知るという,一貫したスキルを学習する音声認識フレームワークを導入する。 音声認識と外部の音声理解タスクの両方でオムニモデルを鼻で微調整することは、しばしば性能を低下させる。 これを解決するために、我々のフレームワークであるSpeech-Handsは、問題を明示的な自己回帰決定として再考する。この学習可能なプリミティブは、モデルが欠陥のある外部候補によって脱線されるのを防ぐのに有効である。
  論文  参考訳（メタデータ） (2026-01-14T12:06:50Z)
• VoiceAgentBench: Are Voice Assistants ready for agentic tasks? [5.639970295197759]
  本稿では,現実的な音声エージェント設定におけるSpeechLMの評価ベンチマークであるVoiceAgentBenchを紹介する。 インドの文脈に根ざした5,500以上の合成音声クエリで構成されている。 ツール選択の正確性、構造的整合性、ツールの実行の正しさを測定する。
  論文  参考訳（メタデータ） (2025-10-09T09:11:38Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)
• Active Speakers in Context [88.22935329360618]
  能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。 本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。 実験の結果,構造的特徴アンサンブルはすでにアクティブな話者検出性能の恩恵を受けていることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T01:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。