論文の概要: TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
- arxiv url: http://arxiv.org/abs/2608.25218v1
- Date: Tue, 25 Aug 2026 23:14:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.490908
- Title: TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
- Title（参考訳）: TurnBench: 音声対話におけるターンタイキングダイナミクスのためのマルチドメインベンチマーク
- Abstract要約: 自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。
そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。
一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
- 参考スコア（独自算出の注目度）: 79.83228182492354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speakers in natural conversation take turns speaking and listening, deciding in real time when to take, hold, or yield the floor. However, turn-taking evaluation remains limited due to the lack of a consistent, linguistically grounded evaluation protocol and hand-annotated data covering diverse conversation types. To address this, we present TurnBench, a multi-domain benchmark that pairs a 30-hour, hand-labeled corpus of dyadic human conversation with a standardized evaluation protocol for end-of-turn and interruption detection. We set conversation type as a controllable experimental variable, covering six distinct interaction styles, and triple-annotate each conversation. Benchmarking 14 heterogeneous turn-taking systems, we find end-of-turn recall stable across types, while interruption false positives are strongly type-dependent and concentrated in backchannel-dense interaction styles. Although in smooth floor transfers human listeners begin speaking a median 151 ms before the current turn ends, no current system performs equivalently without incurring excessive false positives. We release our corpus, a 104-hour training set, and a public leaderboard with an interactive dataset viewer at https://turnbench.sesame.com
- Abstract（参考訳）: 自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。
しかし,多種多様な会話を包含する一貫した言語的基盤評価プロトコルや手書きデータがないため,ターンテイク評価は依然として限られている。
そこで本研究では,30時間,手書きの対話コーパスと,終末検出と割り込み検出のための標準化された評価プロトコルを組み合わせたマルチドメインベンチマークTurnBenchを提案する。
会話タイプを制御可能な実験変数として設定し、6つの異なる対話スタイルをカバーし、各会話に3つの注釈を付ける。
14種類の不均質なターンテイクシステムをベンチマークすると、エンド・オブ・ターンのリコールは複数のタイプで安定であり、割り込み偽陽性は強く型依存的であり、バックチャネルとディセンスの相互作用スタイルに集中している。
滑らかなフロア転送では、人間のリスナーは現在のターン終了前に中央値151msを話し始めるが、過度な偽陽性を発生させることなく同等に実行している現在のシステムは存在しない。
104時間のトレーニングセットと、https://turnbench.sesame.comでインタラクティブなデータセットビューアを備えた公開リーダボードを公開しています。
関連論文リスト
- Negation Beyond the Verbal Channel: Temporal Multimodal Correlates in Dialogue [44.39196719594625]
バーチャルリアリティーにおける27の人間-人間インタビューについて検討した。
時系列と音響情報を除いた20の時系列モデルを比較し、時間的文脈、相互作用源、モダリティの可用性、イベントのタイミングを体系的に変化させる。
グループで10倍のクロスバリデーションを行い、最強のプローブは話者側の行動から最大.75倍のAUROCに到達した。
論文 参考訳（メタデータ） (2026-09-14T22:07:34Z) - TurnWise: The Gap between Single- and Multi-turn Language Model Capabilities [57.865325277036455]
我々は、シングルターンチャット評価と直接比較できるマルチターン機能のための新しいベンチマークであるTurnWiseEvalを導入する。
また、マルチターントレーニングデータのスケーラブルな生成を可能にする合成マルチターンデータパイプラインであるTurnWiseDataについても紹介する。
Olmo 3 を用いた実験により,マルチターンデータによるトレーニングが,マルチターンチャットの性能向上に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-03-17T16:40:35Z) - Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction [12.216811577733125]
本稿では,E2E音声対話システムを評価するためのオープンソースのベンチマークであるAudio MultiChallengeを紹介する。
そこで我々は,中発音声の補聴とバックトラックに対する頑健さを検査する新軸音声編集手法を提案する。
47の話者と1,712のインスタンス固有のルーリックとの452の会話を、オーディオネイティブエージェントとヒューマンインザループパイプラインのハイブリッドを通じてキュレートする。
論文 参考訳（メタデータ） (2025-12-16T19:26:44Z) - Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。
AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。
本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-26T16:45:20Z) - Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。
ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
論文 参考訳（メタデータ） (2025-03-06T18:59:16Z) - Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。
本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T11:57:56Z) - X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。
従来の設定では、各参加者は一度に1つのメッセージに制限される。
本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
論文 参考訳（メタデータ） (2024-08-19T09:57:28Z) - MultiTalk: A Highly-Branching Dialog Testbed for Diverse Conversations [39.81965687032923]
会話対話文のコーパスであるMultiTalkデータセットについて述べる。
高分岐環境におけるダイアログ生成の研究に複数の貢献をしている。
我々の達成課題は心の問題の挑戦的理論であり、制御可能な生成課題である。
論文 参考訳（メタデータ） (2021-02-02T02:29:40Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳（メタデータ） (2020-05-01T20:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。