論文の概要: D2: High-Capability Full-Duplex Spoken Language Models from Half-Duplex Backbones

• arxiv url: http://arxiv.org/abs/2610.17124v1
• Date: Mon, 12 Oct 2026 17:15:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.425607
• Title: D2: High-Capability Full-Duplex Spoken Language Models from Half-Duplex Backbones
• Title（参考訳）: D2: 半二重バックボーンからの高機能フルダブル言語モデル
• Abstract要約: フル音声言語モデル (HDSLMs) は同時聴取をサポートするが、一般的な機能では半分の音声言語モデル (HDSLMs) より遅れている。 本稿では,事前学習したHDSLMをデコーダフリーストリームに変換するフレームワークであるDialogue-to-Duplex (2)を提案する。
• 参考スコア（独自算出の注目度）: 101.61156613039033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-duplex spoken language models (FD-SLMs) support simultaneous listening and speaking, but often lag behind half-duplex spoken language models (HD-SLMs) in general capabilities. We propose Dialogue-to-Duplex (D2), a framework that converts pretrained HD-SLMs into high-capability FD-SLMs at fine temporal granularity. D2 adapts the original audio encoder to streaming through decoder-free representation distillation and learns full-duplex interaction through supervised fine-tuning. We systematically study the effects of chunk size on full-duplex interaction, general capabilities, and inference computation. We apply D2 to two distinct HD-SLM architectures, Qwen3-Omni and LLaMA-Omni 2. At a 12.5Hz update rate, Qwen3-Omni-D2 achieves 99.2% turn-taking success with 521-ms latency, 99.5% interruption success, and a state-of-the-art VoiceBench score of 70.1.
• Abstract（参考訳）: フル二重言語モデル (FD-SLM) は同時聴取と発声をサポートするが、一般的には半二重言語モデル (HD-SLM) に遅れが生じることが多い。 本稿では,事前学習したHD-SLMを高機能なFD-SLMに微細な時間的粒度で変換するフレームワークであるダイアログ・トゥ・デュプレックス(D2)を提案する。 D2はオリジナルのオーディオエンコーダをデコーダフリー表現蒸留によるストリーミングに適応させ、教師付き微調整により全二重相互作用を学習する。 本研究では,チャンクサイズが全二重相互作用,一般機能,推論計算に与える影響を系統的に研究する。 D2を2つの異なるHD-SLMアーキテクチャ、Qwen3-OmniとLLaMA-Omni 2に適用する。 12.5Hzの更新レートで、Qwen3-Omni-D2は521msのレイテンシで99.2%のターンテイク成功、99.5%の割り込み成功、そして最先端のVoiceBenchスコアは70.1である。

関連論文リスト

• UniAE-MoE: A Unified Audio Encoder via Mixture of Experts [10.952929961413489]
  UniAE-MoEは、クロスドメインオーディオ表現をモデル化するために設計された統一オーディオエンコーダである。 これは、Mixture-of-Expertsアーキテクチャを通じて、優れたダウンストリーム理解性能を実現する。 UniAE-MoEは、Interspeech 2026 Audio Capability Challengeで最高レベルのパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-09-30T07:49:18Z)
• Enabling Proactive Spoken Turns via a Generalized Style-Aware Full-Duplex Framework [51.969792455913655]
  2 半対話システムシステムは応答する前にユーザのターン完了を待つ。 応答品質を犠牲にすることなくターンタイミングを予測します。 WildTurnは、顔と電話の会話から981時間のマルチターン会話を含む大規模な実世界の英語データセットで、5つのターンレベルの対話スタイルを持ち、WildTurn LPS-TCで訓練され、既存の静的ベンチマークでは捉えられないリッチな音声動特性を示すリッチな音声動特性を示し、リアルなストリーミング制約下でのインレベルタイミング精度とターンレベルの対話品質の両方を評価する2層評価スキームを導入する。
  論文  参考訳（メタデータ） (2026-08-04T08:22:50Z)
• Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models [68.51256516936338]
  Wan-Streamerは、ローストリーミングインタラクションのためのエンドツーエンドのインタラクティブ基盤モデルである。 音声とビデオは、入力と出力の両方を単一のTransformerシーケンスでシームレスにモデル化する。 およそ200msのモデル側レスポンスレイテンシと、合計550msのインタラクションレイテンシを実現している。
  論文  参考訳（メタデータ） (2026-06-23T18:01:03Z)
• Balancing Understanding and Generation in Discrete Diffusion Models [58.62235340638143]
  Masked Diffusion Language Models (MDLM) は意味理解とゼロショットの一般化に優れる。 UDLM(Uniform-Noise Diffusion Language Models)は、強力な数ステップ生成品質を実現する。 定常雑音カーネルを介して2つのパラダイムをブリッジするXDLMを提案する。
  論文  参考訳（メタデータ） (2026-02-01T18:00:35Z)
• SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model [28.42203609938444]
  本稿では,連続的なユーザ入力とチャネル融合を伴うエージェント出力を特徴とする,新しい2重音声合成(S2S)アーキテクチャを提案する。 ユーザ入力に事前トレーニングされたストリーミングを使用することで、音声事前トレーニングを必要とせずに、第1の二重S2Sモデルを実現できる。 実験結果から,提案モデルが従来の2次モデルよりも,推論,ターンテイク,バージイン能力に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-21T15:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。