論文の概要: DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion

• arxiv url: http://arxiv.org/abs/2610.12214v1
• Date: Thu, 08 Oct 2026 16:01:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.151061
• Title: DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion
• Title（参考訳）: DiffuPlex:ローリングマスク付き拡散による全二重音声対話モデルの高速化
• Abstract要約: DiffuPlexは、複数の将来のユーザとアシスタントフレームを単一のウェイクで予測する。 DiffuPlexは、$1.46times$と$1.59times$デプロイメントパスウォールクロックのスピードアップを達成した。 人間の評価では、LISTEN音声の自然さと会話の質は、SPEAKが会話の質をある程度のきめ細やかな音声の自然さで維持していることが示されている。
• 参考スコア（独自算出の注目度）: 11.032106141329345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent full-duplex spoken dialog models enable simultaneous listening and speaking, but fine-grained models still advance their backbone autoregressively at every interaction frame. We introduce DiffuPlex, a rolling masked diffusion framework that reduces this sequential computation by predicting multiple future user and assistant frames in a single backbone wake. DiffuPlex consumes only a confident prefix of each predicted future while interaction continues at the original frame rate. As user speech arrives, it checks the corresponding user predictions and, when the interaction diverges, preserves already played assistant content while revising only the unplayed future. We consider two inference policies over the same predictor: DiffuPlex-LISTEN consumes multiple future frames when they predict assistant silence, whereas DiffuPlex-SPEAK can also consume predicted assistant speech. Across full-duplex interaction and spoken-language evaluations, DiffuPlex substantially reduces sequential backbone computation while largely preserving interaction behavior and general capability. DiffuPlex-LISTEN and DiffuPlex-SPEAK achieve $1.46\times$ and $1.59\times$ deployment-path wall-clock speedups and $1.61\times$ and $1.80\times$ Core LM speedups, with all measured backbone invocations completing within the 80ms interaction interval. Human evaluation shows that LISTEN preserves speech naturalness and conversational quality, while SPEAK retains conversational quality with some degradation in speech naturalness.
• Abstract（参考訳）: 最近の全二重音声対話モデルでは、同時聴取と発声が可能だが、細粒度モデルでは、すべての相互作用フレームにおいて、バックボーンを自己回帰的に前進させる。 DiffuPlexは、複数の将来のユーザフレームとアシスタントフレームを単一のバックボーンウェイクで予測することで、このシーケンシャルな計算を削減できる、ローリングマスク付き拡散フレームワークである。 DiffuPlexは予測される各未来の確実なプレフィックスのみを消費し、インタラクションは元のフレームレートで継続する。 ユーザスピーチが到着すると、対応するユーザ予測をチェックし、対話が分岐すると、すでに再生されているアシスタントコンテンツを保存し、再生されていない未来だけを更新する。 DiffuPlex-LISTENはアシスタントの沈黙を予測する際に複数の将来のフレームを消費するのに対し、DiffuPlex-SPEAKは予測されたアシスタント音声も消費する。 DiffuPlexは、全二重の相互作用と音声言語の評価を通じて、相互作用の挙動と一般的な能力を保ちながら、シーケンシャルなバックボーン計算を大幅に削減する。 DiffuPlex-LISTENとDiffuPlex-SPEAKは1.46\times$と1.59\times$デプロイメントパスウォールクロックスピードアップと1.61\times$と1.80\times$コアLMスピードアップを達成した。 人間の評価では、LISTENは音声の自然さと会話の質を保ち、SPEAKは音声の自然さを低下させながら会話の質を保っている。

関連論文リスト

• A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations [17.048567633179037]
  本稿では,リレーショナルイベントリストから意図抽出2チャンネル会話音声を合成するためのパイプラインを提案する。 イベントは独立して合成され、ソーステキストと一致し、共有クロック上に置かれ、ターンテイキングランドマークが測定される。 パイプラインは英語とマンダリンの8つの家族の42をカバーしている。
  論文  参考訳（メタデータ） (2026-09-23T21:38:54Z)
• AVTR-1: Open Stack for Real-Time Interactive Avatars [0.3811184252495268]
  トーキングヘッドモデルとダイアドモデルでは,リアルタイムな推論が可能になったが,高速な動き生成だけでは対話的な会話は得られない。 本稿では,リアルタイム対話型アバター対話のためのオープンスタックであるAVTR-1を紹介する。 提案手法は,ユーザの発話遅延に対する寄与を解析的に導出し,その結果を2つの商用音声エージェントで検証する。
  論文  参考訳（メタデータ） (2026-09-19T09:45:26Z)
• InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos [7.003662856458999]
  我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。 Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。 10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
  論文  参考訳（メタデータ） (2026-08-02T11:28:13Z)
• Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
  RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。 対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。 応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-06-09T17:46:55Z)
• Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models [3.5946669116828134]
  完全な音声対話モデルは、ターンベースシステムよりも人間の会話に近い声を同時に話すことができる。 本研究では,人間のコミュニケーションにおいて,ニューラルカップリングを用いた内部相互作用を協調するモデルを提案する。 雑音のない条件下では強い表現同期が得られ、ラグはゼロに近づき、ノイズは劣化する。
  論文  参考訳（メタデータ） (2026-05-19T18:11:03Z)
• Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling [53.176242285107485]
  我々は2人のトークショー交換の70時間14kclipデータセットであるtextbfFace-to-Face with Jimmy Fallon (F2F-JF)を紹介した。 半自動パイプラインは、多人数追跡、音声ダイアリゼーション、軽量な人間の検証を組み合わせて、時間的に整列したホスト/ゲストトラックを抽出する。
  論文  参考訳（メタデータ） (2026-03-16T03:50:02Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。