論文の概要: When2Speak: A Dataset for Temporal Participation and Turn-Taking in Multi-Party Conversations for Large Language Models

• arxiv url: http://arxiv.org/abs/2605.05626v1
• Date: Thu, 07 May 2026 03:27:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.501802
• Title: When2Speak: A Dataset for Temporal Participation and Turn-Taking in Multi-Party Conversations for Large Language Models
• Title（参考訳）: When2Speak:大規模言語モデルのための多人数会話における時間的参加とターンタイキングのためのデータセット
• Authors: Vihaan Nama, Shreya Mendi, Zian Ye, Brinnae Bent,
• Abstract要約: LLM(Large Language Models)は、文脈的に適切な応答を生成するのに優れるが、多人数会話では校正が不十分である。 本稿では,グループ間相互作用における干渉のタイミングを学習するための,基底合成データセットと4段階生成パイプラインである When2Speak を紹介する。 データセットは、2-6人の話者による16,000の会話から派生した215,000以上の例からなり、多様な会話スタイル、トーン、受動的を分散し、各ターンでSPEAK対SILENT決定を明示的にモデル化する。
• 参考スコア（独自算出の注目度）: 0.15749416770494704
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) excel at generating contextually appropriate responses but remain poorly calibrated for multi-party conversations, where deciding when to speak is as critical as what to say. In such settings, naively responding at every turn leads to excessive interruptions and degraded conversational coherence. We introduce When2Speak, a grounded synthetic dataset and four-stage generation pipeline for learning intervention timing in group interactions. The dataset comprises over 215,000 examples derived from 16,000 conversations involving 2-6 speakers, spanning diverse conversational styles, tones, and participant dynamics, and explicitly modeling SPEAK vs. SILENT decisions at each turn. Our pipeline combines real-world grounding, structured augmentation, controlled transcript synthesis, and fine-tuning-ready supervision, and is fully open-sourced to support reproducibility and adaptation to domain-specific conversational norms. Across multiple model families, supervised fine-tuning (SFT) on When2Speak significantly outperforms zero-shot baselines (e.g., the average Macro F1 increase across 4B+ parameter models was 60%, with the largest increase being 120%). However, SFT-trained models remain systematically over-conservative, missing nearly half of warranted interventions as seen through the Missed Intervention Rate (MIR), which was on average 0.50 and is noticed even at larger model sizes. To address this limitation, we apply reinforcement learning with asymmetric reward shaping, which reduces MIR to 0.186-0.218 and increases recall from 0.479 to 0.78-0.81. Our findings establish that temporal participation is a distinct and trainable dimension of conversational intelligence, and that grounded synthetic data provides an effective and scalable pathway for enabling LLMs to participate more naturally and appropriately in multi-party interactions.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、文脈的に適切な応答を生成するのに優れていますが、マルチパーティの会話では、いつ話すかを決めることは、何を言うべきかと同じくらい重要になります。 このような設定では、毎回鼻で反応すると過剰な中断と会話の一貫性が低下する。 本稿では,グループ間相互作用における干渉のタイミングを学習するための,基底合成データセットと4段階生成パイプラインである When2Speak を紹介する。 データセットは、2-6人の話者による16,000の会話から派生した215,000以上の例からなり、多様な会話スタイル、トーン、受動的を分散し、各ターンでSPEAK対SILENT決定を明示的にモデル化する。 我々のパイプラインは、実世界の接地、構造化された拡張、制御されたトランスクリプト合成、微調整可能な監視を組み合わせることで、再現性とドメイン固有の会話規範への適応をサポートするために、完全にオープンソース化されている。 When2Speakの教師付き微調整(SFT)は、複数のモデルファミリにわたってゼロショットベースラインを著しく上回る(例:4B+パラメータモデルの平均マクロF1は60%、最大の増加は120%)。 しかし、SFTで訓練されたモデルは系統的に過保守であり、平均0.50で、より大きなモデルサイズでも注目されるMissed Intervention Rate (MIR)で見られるように、保証された介入のほぼ半分を欠いている。 この制限に対処するために、MIRを0.186-0.218に低減し、リコールを0.479から0.78-0.81に増加させる非対称報酬整形による強化学習を適用した。 この結果から, 時間的参加は会話知能の明瞭で訓練可能な次元であり, 基礎となる合成データは, LLMがより自然に, 適切に多人数の対話に参加できるように, 効果的かつスケーラブルな経路を提供することが明らかとなった。

関連論文リスト

• The 2026 ACII Dyadic Conversations (DaiKon) Workshop & Challenge [7.430170071205731]
  ACII-DaiKonは、共有データセット上に構築された3つの調整されたサブチャレンジを提示する。 この課題は、945のダイアド会話を含むHume-DaiKonデータセット上に構築されている。 このベンチマークはマルチモーダルモデリング、時間的推論、コンテキスト間の一般化をサポートする。
  論文  参考訳（メタデータ） (2026-05-04T14:53:30Z)
• ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models [49.18708573170585]
  経験的な評価は、ASPIRinがターンテイキング、バックチャネル、一時停止処理をまたいで対話性を最適化していることを示している。 ASPIRin degrade turn to say when when when to fall when. ASPIRin degrade turn to say when when to say。
  論文  参考訳（メタデータ） (2026-04-11T07:07:08Z)
• Evaluating Zero-Shot and One-Shot Adaptation of Small Language Models in Leader-Follower Interaction [1.3511057160494195]
  リーダー-フォロワー相互作用は人間-ロボット相互作用(HRI)において重要なパラダイムである 小言語モデル(SLM)は潜在的な代替手段を提供するが、HRIにおける役割分類の有効性は体系的に評価されていない。
  論文  参考訳（メタデータ） (2026-02-26T18:20:26Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• DiscussLLM: Teaching Large Language Models When to Speak [9.441455921296301]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成において顕著な能力を示した。 トレーニングモデルによってこのギャップを埋めるために設計されたフレームワークである$textitDiscussLLM$を紹介します。
  論文  参考訳（メタデータ） (2025-08-25T16:16:42Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• Beyond Words: Multimodal LLM Knows When to Speak [25.374878759869333]
  我々は、視覚、音声、テキスト間の微妙なマルチモーダル信号に依存する、短時間で反応する発話に重点を置いて、応答型のリアルタイム予測に重点を置いている。 実世界の会話ビデオから構築された新しいマルチモーダルデータセットを導入し、時間的に整列された視覚、聴覚、テキストストリームを含む。 MM-When2Speakは,視覚的,聴覚的,テキスト的コンテキストを適応的に統合し,応答がいつ発生すべきか,どの応答が適切かを予測するマルチモーダルLCMベースのモデルである。
  論文  参考訳（メタデータ） (2025-05-20T17:42:34Z)
• MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models [70.92847554971065]
  MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。 人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。 11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T04:50:28Z)
• Communication-Efficient Personalized Federated Learning for Speech-to-Text Tasks [64.02867484165476]
  プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。 S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。 我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。