論文の概要: Hear, Invoke, and Understand: A Skill-Calling Multimodal Agent for Large Audio Language Models

• arxiv url: http://arxiv.org/abs/2608.01881v1
• Date: Mon, 03 Aug 2026 08:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.408062
• Title: Hear, Invoke, and Understand: A Skill-Calling Multimodal Agent for Large Audio Language Models
• Title（参考訳）: 聴覚・呼び出し・理解:大規模音声モデルのためのスキルケア型マルチモーダルエージェント
• Abstract要約: 複雑な音響問題は、モデルが音響操作を行い、外部ツールと相互作用する必要があるかもしれない。 我々は,その内在的マルチモーダル理解を外部スキルやツールと協調する音声エージェントであるSpeechAgent-Rを開発した。
• 参考スコア（独自算出の注目度）: 36.818375663787414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complex acoustic problems may require models to perform acoustic operations, interact with external tools and reason over the resulting textual or processed-audio observations rather than answer directly from a fixed audio input. We study such problems as tool-interactive audio reasoning and develop SpeechAgent-R, an audio agent that coordinates its intrinsic multimodal understanding with external skills and tools. To support this capability, we construct HIU-Corpus, comprising 65,492 interaction trajectories and 507.6 hours of audio across 24 tasks, 8 skills and 9 tools. SpeechAgent-R first learns structured interaction behaviors through trajectory-based supervised fine-tuning and then improves its decisions through multi-turn reinforcement learning. We further introduce HIU-Bench to jointly evaluate task performance, interaction quality and generalization to diverse task settings. It contains 1,395 samples across 56 tasks, including in-distribution (ID) and out-of-distribution (OOD) splits with substantial shifts in tool usage and workflow composition. SpeechAgent-R achieves 84.17 on ID tasks and 70.94 on OOD tasks, improving over the base model under the same agent harness by 15.40 and 14.23 points. These results demonstrate that learning skill and tool coordination improves audio agents' ability to handle diverse task settings and adaptive tool interactions.
• Abstract（参考訳）: 複雑な音響問題は、固定された音声入力から直接答えるのではなく、モデルが音響操作を行い、外部ツールと対話し、結果のテキストまたは処理された音声の観察を推論する必要がある。 本研究では,ツール間対話型音声推論や,その内在的マルチモーダル理解を外部スキルやツールと協調する音声エージェントであるSpeechAgent-Rを開発した。 この機能をサポートするために,65,492のインタラクショントラジェクトリと,24タスクに507.6時間のオーディオ,8スキル,9ツールからなるHIU-Corpusを構築した。 SpeechAgent-Rはまず、軌道に基づく教師付き微調整を通して構造化された相互作用の振る舞いを学習し、マルチターン強化学習によりその決定を改善する。 さらに、HIU-Benchを導入し、タスク性能、相互作用品質、および多様なタスク設定への一般化を共同で評価する。 56のタスクにまたがる1,395のサンプルが含まれており、ツールの使用状況やワークフロー構成の大幅な変化とともに、ID(In-distriion)とOOD(Out-of-distriion)の分割が含まれている。 SpeechAgent-RはIDタスクで84.17、OODタスクで70.94を達成し、同じエージェントハーネスでベースモデルを15.40と14.23ポイント改善した。 これらの結果から,学習スキルとツールコーディネートにより,多様なタスク設定や適応ツールインタラクションを扱う音声エージェントの能力が向上することが示唆された。

関連論文リスト

• EChO-Agent: Evidence Chain Orchestration Agent for Audio Reasoning [57.032533935143924]
  LALMは音声の疑問関連部分に焦点を合わせず、明確でチェック可能な推論プロセスを提供する。 本稿では,複雑なオーディオQAを計画,ツールの実行,エビデンス統合,回答検証ワークフローとして再構成するモジュール型エージェントフレームワークEChO-Agentを提案する。
  論文  参考訳（メタデータ） (2026-06-13T06:05:59Z)
• Crab$^{+}$: A Scalable and Unified Audio-Visual Scene Understanding Model with Explicit Cooperation [83.75249714794977]
  我々は、スケーラブルで統一されたオーディオ視覚シーン理解モデルであるCrab$+$を提示する。 データ側では、AV-UIE v2(Audio-Visual Unified Instruction-tuning データセット)を導入します。 モデル側では、異種タスクの定式化を整合させる統一インターフェースを設計する。 タスクの88%近くにおいて、マルチタスク学習がシングルタスクベースラインを超えた場合、負の転送傾向を逆転させ、正の転送を実現した。
  論文  参考訳（メタデータ） (2026-03-04T14:43:57Z)
• HarmoniFuse: A Component-Selective and Prompt-Adaptive Framework for Multi-Task Speech Language Modeling [52.537908557508324]
  HarmoniFuseは、マルチタスク音声言語モデリングのためのコンポーネント選択およびプロンプト適応フレームワークである。 バッチインターリーブのトレーニング戦略により、ジョイントアノテーションを必要とせずに、別々のASRとSERデータセットを活用することができる。
  論文  参考訳（メタデータ） (2025-09-23T02:53:38Z)
• Process-Supervised Reinforcement Learning for Interactive Multimodal Tool-Use Agents [34.720205364467546]
  音声テキストのインターリーブを支援する強化学習用サンドボックス環境(RL)を導入する。 我々の中核戦略であるTARL(Turn-level Adjudicated Reinforcement Learning)は、長期的タスクにおけるクレジット割り当ての課題に対処する。 この統一されたアプローチは、強いRLベースラインと比較してテキストベースの$tau$-benchのタスクパス率を6%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-17T23:25:00Z)
• Breaking Single-Tester Limits: Multi-Agent LLMs for Multi-User Feature Testing [15.383375235673954]
  アプリケーション機能テストのためのマルチユーザ対話タスクを自動化するために,LLM(Large Language Models)を利用した新しいマルチエージェントアプローチであるMAdroidを提案する。 具体的には、MAdroidは、ユーザエージェント(オペレータ)とスーパーバイザーエージェント(コーディネータとオブザーバ)の2つの機能タイプを採用している。 マルチユーザ対話型タスク41件を含む評価は,96.8%の動作類似性を有するタスクの82.9%を達成し,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2025-06-21T01:38:53Z)
• Crab: A Unified Audio-Visual Scene Understanding Model with Explicit Cooperation [36.37023296057912]
  本研究では,データとモデルの両方の観点から,明示的なタスク間協調を実現する統一学習手法を提案する。 提案手法は,複数のタスクにおける既存の統合音声-視覚モデルを上回るだけでなく,特定のタスクにおいて,最も特殊なモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-03-17T11:19:03Z)
• WavLLM: Towards Robust and Adaptive Speech Large Language Model [93.0773293897888]
  本稿では,2つのエンコーダを持つ頑健で適応的な音声大言語モデルであるWavLLMと,プロンプト対応のLoRA重み付けアダプタを紹介する。 ASR, ST, SV, ERなどのタスクを含むユニバーサル音声ベンチマークにおいて提案手法の有効性を検証し, SQA用ガオカオ英語聴取理解セット, CoT 評価セットなどの特殊データセットに適用する。
  論文  参考訳（メタデータ） (2024-03-31T12:01:32Z)
• Qwen-Audio: Advancing Universal Audio Understanding via Unified Large-Scale Audio-Language Models [98.34889301515412]
  我々はQwen-Audioモデルを開発し、30以上のタスクと様々なオーディオタイプをカバーするために、事前学習を拡大することで制限に対処する。 Qwen-Audioは、タスク固有の微調整を必要とせずに、様々なベンチマークタスクで素晴らしいパフォーマンスを実現している。 さらにQwen-Audio-Chatを開発し、様々なオーディオやテキスト入力からの入力を可能にし、マルチターン対話を可能にし、様々なオーディオ中心のシナリオをサポートする。
  論文  参考訳（メタデータ） (2023-11-14T05:34:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。