論文の概要: Enabling Proactive Spoken Turns via a Generalized Style-Aware Full-Duplex Framework

• arxiv url: http://arxiv.org/abs/2608.28630v1
• Date: Tue, 04 Aug 2026 08:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-06 19:38:41.450625
• Title: Enabling Proactive Spoken Turns via a Generalized Style-Aware Full-Duplex Framework
• Title（参考訳）: 一般化型スタイル認識フルダブルプレックスフレームワークによる能動音声変換
• Abstract要約: 2 半対話システムシステムは応答する前にユーザのターン完了を待つ。 応答品質を犠牲にすることなくターンタイミングを予測します。 WildTurnは、顔と電話の会話から981時間のマルチターン会話を含む大規模な実世界の英語データセットで、5つのターンレベルの対話スタイルを持ち、WildTurn LPS-TCで訓練され、既存の静的ベンチマークでは捉えられないリッチな音声動特性を示すリッチな音声動特性を示し、リアルなストリーミング制約下でのインレベルタイミング精度とターンレベルの対話品質の両方を評価する2層評価スキームを導入する。
• 参考スコア（独自算出の注目度）: 51.969792455913655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared with half-duplex dialogue systems where the system waits for user turn completion before it responds, natural full-duplex dialogue systems require agents to act proactively in real time, including timely interruptions and backchannels. This creates a key challenge: improving turn timing without sacrificing response quality. To address limitations in realistic proactive turn-taking, we build a generalized style-aware full-duplex framework with three key components. Firstly, we propose LPS-TC, a Lightweight Proactive Speech Turn Controller for plug-and-play integration. It features a fine-grained action space covering both reactive and proactive turn behaviors, enabling half-duplex models with full-duplex capabilities and enhancing existing full-duplex models with superior timing control. Secondly, we construct WildTurn, a large-scale, real-world English dataset containing approximately 2,981 hours of filtered multi-turn stereo conversations from face-to-face and telephone conversations, annotated with five turn-taking and five backchanneling styles. Trained on WildTurn, LPS-TC exhibits rich spoken dynamics that are not captured by existing static full-duplex benchmarks. Thirdly, we introduce a two-tier evaluation scheme that assesses both chunk-level timing precision and turn-level interaction quality under realistic streaming constraints. Our experiments, integrating LPS-TC with half-duplex models like Qwen2.5-Omni and full-duplex models like Freeze-Omni, showcase its superior performance in timing appropriateness and response quality. Our framework also demonstrates fine-grained style controllability and strong generalizability, enabling more natural and human-like spoken interactions.
• Abstract（参考訳）: システムが応答する前にユーザのターン完了を待つ半二重対話システムと比較すると、自然なフル二重対話システムは、時間的中断やバックチャネルを含むエージェントがリアルタイムでアクティブに振る舞う必要がある。 これは、応答品質を犠牲にすることなくターンタイミングを改善するという重要な課題を生み出します。 現実的なプロアクティブなターンテイクの制限に対処するため、我々は3つの重要なコンポーネントを持つ汎用的なスタイル対応フルデュプレックスフレームワークを構築した。 まず,プラグ・アンド・プレイ統合のための軽量プロアクティブ音声ターンコントローラ LPS-TC を提案する。 反応とプロアクティブの両方のターン挙動をカバーするきめ細かいアクション空間を備え、フルダブルプレックス機能を持つ半二重モデルを可能にし、より優れたタイミング制御を備えた既存のフルダブルプレックスモデルを強化する。 第二にWildTurnは、顔と電話の会話からフィルタリングされた2,981時間のステレオ会話と5つのターンテイクと5つのバックチャネルスタイルを付加した、大規模で現実的な英語データセットである。 WildTurnでトレーニングされたLSS-TCは、既存の静的フルデュプレックスベンチマークではキャプチャされない、リッチな音声ダイナミックスを示している。 第3に,実ストリーミング制約下でのチャンクレベルのタイミング精度とターンレベルのインタラクション品質の両方を評価する2層評価手法を提案する。 我々の実験では、LPS-TCとQwen2.5-Omniのような半二重モデルと、Freeze-Omniのようなフル二重モデルを統合することにより、タイミング適合性と応答品質において優れた性能を示す。 また,本フレームワークは,より自然な,人間らしい音声対話を可能にする,きめ細かなスタイル制御性と強い一般化性を示す。

関連論文リスト

• Enabling Streaming User Transcription in Full-Duplex Speech-to-Speech Models [54.83270723528963]
  本稿では,既存のS2Sモデルにストリーミング機能を追加する手法を提案する。 我々のアプローチでは、最小限の追加パラメータが必要であり、ベースS2Sモデルに大きな変更はない。
  論文  参考訳（メタデータ） (2026-09-14T15:44:18Z)
• BayLing-Duplex: Native Full-Duplex Speech Dialogue with a Single Autoregressive LLM [37.246890931249496]
  BayLing-Duplexはネイティブのフル世代のSpeechLMで、どの場所を聴くか、いつ話すか、いつ停止するかを補助的なターンテイクモジュールなしで決める。 InstructS2S-Evalでは92%のターンテイク成功、100%割り込み成功、Moshiでは2.17から3.39に改善した。
  論文  参考訳（メタデータ） (2026-06-12T15:01:51Z)
• Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
  RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。 対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。 応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-06-09T17:46:55Z)
• MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
  Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。 Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。 合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
  論文  参考訳（メタデータ） (2026-04-30T04:05:43Z)
• DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization [17.80344425747229]
  私たちのキーとなるアイデアは、従来の発話の長めの旋回をチャンク・ターンの相互作用に変換することです。 ターンテイク応答のタイミングを確実に調整するために,一組の対話型特殊制御トークンを導入する。
  論文  参考訳（メタデータ） (2026-03-10T04:35:22Z)
• Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems [82.70507055599093]
  本稿では,Duplex SDS のための Streaming Chain-of-Thought (CoT) フレームワークを提案する。 ブロック毎に中間的ターゲットアライメントされたユーザ書き起こしとシステム応答を作成します。 実験により,本手法は既存の二重解法よりもコヒーレントで解釈可能な応答を生成することが示された。
  論文  参考訳（メタデータ） (2025-10-02T14:33:05Z)
• RoboEgo System Card: An Omnimodal Model with Native Full Duplexity [48.52383812141669]
  RoboEgo (別名:FLM-Ego)は、両方の課題に対処するために設計された統一モデルシステムである。 FLM-Egoにはバックボーンとアルゴリズムが組み込まれており、80ミリ秒のレイテンシの理論的二重化を実現している。
  論文  参考訳（メタデータ） (2025-06-02T17:53:10Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。