論文の概要: MSI-Bench: Evaluating Multi-Speaker Voice Interaction for Collaborative AI Agents
- arxiv url: http://arxiv.org/abs/2609.24812v1
- Date: Mon, 21 Sep 2026 16:04:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.366466
- Title: MSI-Bench: Evaluating Multi-Speaker Voice Interaction for Collaborative AI Agents
- Title（参考訳）: MSI-Bench: 協調型AIエージェントのためのマルチスピーカ音声インタラクションの評価
- Abstract要約: マルチスピーカ音声インタラクションを評価するためのマルチスピーカインタラクションベンチマーク(MSI-Bench)を導入する。
このベンチマークは、マルチスピーカーメモリ、マルチスピーカー命令フォロー、マルチスピーカー推論の3つの機能ファミリをターゲットにしている。
その結果、将来の音声エージェントの具体的なターゲットとして、話者認識、話者スコープによる意思決定、会話抑制が特定された。
- 参考スコア（独自算出の注目度）: 17.301863131921227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Voice provides a natural and immediate interface for AI agents. Many settings in which voice agents could be useful, including meetings, households, and collaborative work, are inherently multi-speaker. Supporting these settings introduces challenges that are largely absent from one-on-one interaction. We introduce the Multi-Speaker Interaction Benchmark (MSI-Bench) for evaluating multi-speaker voice interaction. Each test case is a short multi-party multi-turn audio scene with participant context, expected tool calls, and atomic rubrics. The benchmark targets three capability families: multi-speaker memory, multi-speaker instruction following, and multi-speaker reasoning. It comprises 1,152 test cases, evenly split between Mandarin Chinese and English (576 each). The strongest configuration on each split passes all rubrics on only 66.8% of English and 54.5% of Mandarin cases, and the strongest open-weight configuration on 34.0% and 19.3%. Failure analysis separates perception from reasoning: open-weight models are bottlenecked by the multi-speaker audio front-end, while frontier systems still fail speaker-scoped decision making on clean transcripts---and models across the board often respond when no one has addressed them. These results identify speaker-grounded perception, speaker-scoped decision making, and conversational restraint as concrete targets for future voice agents.
- Abstract（参考訳）: VoiceはAIエージェントの自然な即時インターフェースを提供する。
会議、家庭、共同作業など、音声エージェントが有用な設定の多くは、本質的にマルチスピーカーである。
これらの設定をサポートすると、1対1のインタラクションにほとんど欠落する問題が発生する。
マルチスピーカ音声インタラクションを評価するためのマルチスピーカインタラクションベンチマーク(MSI-Bench)を導入する。
各テストケースは、参加者コンテキスト、期待されるツールコール、アトミックルーリックを備えた、短いマルチパーティのマルチターンオーディオシーンである。
このベンチマークは、マルチスピーカーメモリ、マルチスピーカー命令フォロー、マルチスピーカー推論の3つの機能ファミリをターゲットにしている。
1,152件のテストケースがあり、中国語と英語で等分されている(それぞれ576件)。
それぞれの分割において最も強い構成は、英語の66.8%、マンダリンの54.5%で全てのルーリックを通過させ、34.0%と19.3%で最強のオープンウェイト構成となった。
フェール分析は、推論と区別する: オープンウェイトモデルは、マルチスピーカーのオーディオフロントエンドによってボトルネックを受ける一方、フロンティアシステムは、クリーンな書き起こしで話者スコープによる意思決定を失敗する。
これらの結果は、将来の音声エージェントの具体的なターゲットとして、話者認識、話者スコープによる意思決定、会話抑制を識別する。
関連論文リスト
- MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant [138.90198190949545]
MP-Benchは,対話型音声システムに対して,マルチパーティ・コンテクスト内でのアクティブな参加者としての評価を目的とした,最初のベンチマークである。
MP-Benchは、ターンテイキングの認識と応答の適切性という2つの主要な側面に沿ってエージェントの振る舞いを評価する。
リアルタイム音声エージェントは、マルチパーティの理解において22%以下にとどまり、マルチパーティのターンテイクにおいてほぼチャンスであることがわかった。
論文 参考訳（メタデータ） (2026-09-11T17:11:55Z) - HEAR Who Said What: Unlocking Speaker-Attributed Reasoning via Counterfactual Voice Grounding [54.365959989048406]
音声言語モデル(SLM)は、ますますマルチスピーカー環境にデプロイされている。
しかし、音声を正しい話者とみなし、話者の身元を判断する能力は、いまだに不明である。
本稿では,話者対応推論の基礎的能力を診断するベンチマークHEARを紹介する。
A2Rは、話者レベルのハードな負を持つ非現実的オーディオに最適化された30Bモデルである。
論文 参考訳（メタデータ） (2026-08-29T08:01:20Z) - Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction [12.216811577733125]
本稿では,E2E音声対話システムを評価するためのオープンソースのベンチマークであるAudio MultiChallengeを紹介する。
そこで我々は,中発音声の補聴とバックトラックに対する頑健さを検査する新軸音声編集手法を提案する。
47の話者と1,712のインスタンス固有のルーリックとの452の会話を、オーディオネイティブエージェントとヒューマンインザループパイプラインのハイブリッドを通じてキュレートする。
論文 参考訳（メタデータ） (2025-12-16T19:26:44Z) - M3-SLU: Evaluating Speaker-Attributed Reasoning in Multimodal Large Language Models [15.324265847938813]
マルチ話者・マルチターン音声言語理解のためのマルチモーダル大規模言語モデル(MLLM)ベンチマークであるM3-SLUを提案する。
M3-SLUは4つのオープンコーパス(CHiME-6、MELD、MultiDialog、AMI)から構築され、12,000以上の検証済みインスタンスとペアオーディオ、トランスクリプト、メタデータで構成されている。
結果は、モデルが発言をキャプチャできる一方で、誰が言ったかを特定するのに失敗し、話者認識の対話理解における重要なギャップを明らかにしていることを示している。
論文 参考訳（メタデータ） (2025-10-22T08:28:43Z) - VoiceAgentBench: Are Voice Assistants ready for agentic tasks? [5.639970295197759]
本稿では,現実的な音声エージェント設定におけるSpeechLMの評価ベンチマークであるVoiceAgentBenchを紹介する。
インドの文脈に根ざした5,500以上の合成音声クエリで構成されている。
ツール選択の正確性、構造的整合性、ツールの実行の正しさを測定する。
論文 参考訳（メタデータ） (2025-10-09T09:11:38Z) - VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing [45.15289852736435]
VoiceAssistant-Evalは、13のタスクカテゴリにまたがる10,497のキュレートされた例で構成されている。
実用性を示すため,21のオープンソースモデルとGPT-4o-Audioを評価した。
プロプライエタリなモデルは、オープンソースモデルより普遍的に優れているわけではない。
論文 参考訳（メタデータ） (2025-09-26T17:59:59Z) - MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。
具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。
10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
論文 参考訳（メタデータ） (2025-07-14T23:20:42Z) - Unispeaker: A Unified Approach for Multimodality-driven Speaker Generation [66.49076386263509]
本稿では,マルチモーダリティ駆動型話者生成のための統一的アプローチであるUniSpeakerを紹介する。
KV-Formerに基づく統一音声アグリゲータを提案し、多様な音声記述のモダリティを共有音声空間にマッピングするためにソフトコントラストロスを適用した。
UniSpeakerはMVCベンチマークを用いて5つのタスクで評価され、実験結果により、UniSpeakerは従来のモダリティ固有のモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-01-11T00:47:29Z) - Investigating on Incorporating Pretrained and Learnable Speaker
Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。
FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
論文 参考訳（メタデータ） (2021-03-06T10:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。