論文の概要: MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue
- arxiv url: http://arxiv.org/abs/2610.20172v1
- Date: Wed, 14 Oct 2026 13:20:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.170767
- Title: MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue
- Title(参考訳): MultiPartyTurnBench:マルチパーティ音声対話におけるフロー制御のベンチマーク
- Abstract要約: 本研究では, 主観的ターンテイクや終末行動について検討するが, 真のフロア・トランジションの統一的評価を, 難易度の高い非パーティ・セッティングに対して検討する。
我々は、240個の合成されたチャネル分離会話のベンチマークであるMultiPartyTurnBench (MPTB) について紹介する。
学習システムは82.2.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、Interruption (INT) 検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
- 参考スコア(独自算出の注目度): 67.07361089429757
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Full-duplex speech systems must decide when to enter, hold, or relinquish the conversational floor, even as multiple speakers overlap or backchannel without taking it. Existing evaluations study dyadic turn-taking or end-to-end agent behavior, but lack a unified, controlled evaluation of genuine floor transitions against confusable non-events in multi-party settings. We introduce MultiPartyTurnBench (MPTB), a benchmark of 240 synthetically generated, channel-separated conversations spanning two to five speakers and six interaction types. MPTB evaluates two complementary tasks: End-of-Turn (EOT) detection distinguishes genuine turn completion from temporary holds, while Interruption (INT) detection distinguishes successful floor takeovers from non-floor-taking speech. Exact event-conditioned annotations enable causal evaluation using false-positive-constrained recall and signed latency. Across acoustic, semantic, and turn-projection baselines, we find a stark asymmetry: learned systems achieve 82.5-92.6% EOT recall at 4.3-11.8% false-positive rates, while INT detection suffers from missed takeovers or excessive false activations. This asymmetry extends to five full-duplex agents which achieve 86.1-95.8% balanced accuracy on turn entry, yet perform near chance (46.9-54.7%) on selective interruption handling. Gemini-3.8-Live yields to 97.7% of backchannels, whereas MiniCPM-o-4.5 yields to only 1.4% of genuine interruptions. These findings establish selective floor control as a distinct, unresolved challenge for reliable multi-party voice interaction.
- Abstract(参考訳): 完全二重音声システムは、複数の話者が重なり合っていても、いつ会話フロアに入るか、保持するか、放棄するかを判断しなければならない。
従来の評価では, ダイアド・ターンテイクやエンド・ツー・エンド・エージェントの動作は研究されているが, 複数パーティにおける不利な非事象に対する真のフロア・トランジションの統一的, 制御された評価は欠如している。
2〜5人の話者と6つのインタラクションタイプにまたがる240の合成会話のベンチマークであるMultiPartyTurnBench(MPTB)を紹介する。
終終点検出(End-of-Turn: EOT: End-of-Turn: End-of-Turn: EOT: End-of-Turn: EOT: End-of-Turn: EOT: End-of-Turn: EOT: End-of-Turn: EOT: End-of-Turn: End-of-Turn: EOT: End-of-Turn: EOT: End-of-Turn: End-Turn: EOT: End-of-Turn: End-Turn: EOT: End-of-Turn: EOT: End-of-Turn: EOT: End-Turn: End-Turn: End-Turn: Interruption:INT: Interruption:INT: Interruption: Interruption:INT: Interruption:
特別なイベント条件のアノテーションは、偽陽性のリコールと署名されたレイテンシを使って因果評価を可能にする。
学習システムは82.5-92.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、INT検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
この非対称性は5つの全二重化剤に拡張され、旋回開始時の精度は86.1-95.8%向上するが、選択的割り込み処理では46.9-54.7%に近づいた。
Gemini-3.8-Liveは97.7%、MiniCPM-o-4.5は1.4%である。
これらの知見は, 信頼性の高い多人数音声対話において, 選択的なフロアコントロールが未解決の課題であることを示す。
関連論文リスト
- DuplexSpeechBench-Document Grounding: Benchmarking Document Grounding and Hallucinations in Voice Agents [79.7243119806208]
本稿では,音声エージェントにおける文書のグラウンド化を評価するベンチマークであるDSB-Document GroundingBench(DSB-Document Grounding)を紹介する。
ベンチマークには、5つの専門ドメインをカバーする50の文書を逆検証した1,636のQAペアが含まれている。
論文 参考訳(メタデータ) (2026-09-29T01:43:55Z) - Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation [0.0]
ソースオーソリティ勾配に沿って配置された5つの汚染プロトコルを紹介する。
GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Airを温度0で10個の知識領域にわたって評価した。
論文 参考訳(メタデータ) (2026-09-28T14:46:00Z) - State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳(メタデータ) (2026-09-13T05:55:03Z) - SteerDuplex: Steerable Duplex Speech Dialogue Models [47.277615720741046]
音声対話モデルは、指示、発声、推論、対話を対象とする自然な会話や合成対話を微調整する。
2段階強化学習(RL)とハイブリッド報酬を併用し、検証可能な相互作用チェックと判断に基づくフィードバックを組み合わせて応答継続性を向上させる。
さらにRLはソースクリーン割り込み反応を72.5%から82.5%に引き上げ、合成停止バージインを26.5%から9%に減少させる。
論文 参考訳(メタデータ) (2026-09-11T09:22:46Z) - From Scores to Evidence: Auditable Decisions Can Improve Speech Deepfake Detection [12.159476982130286]
音声のディープフェイクは、聞き手や自動化されたシステムを騙すのに十分な説得力のある話者の声を模倣することができる。
ほとんどの検出器は発話ごとに1点のスコアで終わるが、なぜ境界線アイテムが信頼されるべきなのか、延期されたのか、あるいはレビューされるべきなのかは、ほとんど語っていない。
この疑問に答えるには、4つの整列した手がかりを後期校正ステップに伝達する監査可能な決定記録がある。
論文 参考訳(メタデータ) (2026-09-08T15:38:57Z) - TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue [79.83228182492354]
自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。
そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。
一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
論文 参考訳(メタデータ) (2026-08-25T23:14:36Z) - Narration-of-Thought: Inference-Time Scaffolding for Defeasible Ethical Reasoning in Large Language Models [6.628401122676601]
ナレーション・オブ・シント(NoT)は,思考の連鎖を5つのセクションにまとめるシステムである。
NoTはトレーニングやパラメータ、微調整を追加しない。
3つのベンダーから4つのジェネレータにまたがる100のDailyDilemmasシナリオにおいて、NoTは株主の崩壊を31%から1%以下に削減する。
論文 参考訳(メタデータ) (2026-06-24T20:23:16Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2025-03-06T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。