論文の概要: Full-duplex Spoken Language Modeling with Discrete Diffusion
- arxiv url: http://arxiv.org/abs/2610.17780v1
- Date: Tue, 13 Oct 2026 06:05:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 17:18:03.783445
- Title: Full-duplex Spoken Language Modeling with Discrete Diffusion
- Title(参考訳): 離散拡散を用いた全二重音声言語モデリング
- Abstract要約: シンキングモードでは、Diffuplexはフォワードパス当たり13.0トークンを提供し、平均1872トークン/秒に達し、デコード速度でフロンティア自己回帰(AR)モデルを大幅に上回っている。
推論中、DiffuplexはARインタラクションポリシを通じてユーザ音声を継続的に追跡し、並列拡散を通じて応答コンテンツを独立して生成し、精製する。
これらの結果は,並列計算をインテリジェント応答生成に適用しつつ,リアルタイム対話を維持できる音声エージェントの新しいパラダイムを確立する。
コードとチェックポイントのトレーニングはすぐに有効になるでしょう。
- 参考スコア(独自算出の注目度): 40.54306859686728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Diffuplex, a full-duplex spoken language model based on discrete diffusion that achieves an unprecedented balance between linguistic intelligence and response efficiency. With thinking mode, Diffuplex delivers 13.0 tokens per forward pass, reaching an average of 1872 tokens per second and substantially surpassing the frontier autoregressive (AR) models in decoding speed. Without thinking, Diffuplex matches the first-audio latency of existing full-duplex models while achieving markedly stronger linguistic intelligence. This capability is enabled by separating when to say from what to say at the training level, rather than compressing both into a single autoregressive timeline. During inference, Diffuplex continuously tracks the user speech through an AR interaction policy, while independently generating and refining response content through parallel diffusion. Consequently, semantic computation is no longer bounded by the perception audio frame rate, allowing intelligence and responsiveness to improve simultaneously. Taken together, these results establish a new paradigm for spoken agents that can sustain real-time dialogue while devoting parallel computation to intelligent response generation. Training code and checkpoints will be avaliable soon.
- Abstract(参考訳): 本稿では,言語知能と応答効率のバランスをとるために,離散拡散に基づく全二重言語モデルDiffuplexを紹介する。
シンキングモードでは、Diffuplexはフォワードパス当たり13.0トークンを提供し、平均1872トークン/秒に達し、デコード速度でフロンティア自己回帰(AR)モデルを大幅に上回っている。
考えなければ、Diffuplexは既存のフルダブルプレックスモデルのファーストオーディオ遅延と一致し、言語知性は著しく向上する。
この機能は、トレーニングレベルで何を言ったらよいのかを、両方を1つの自己回帰タイムラインに圧縮するのではなく、区別することで実現される。
推論中、DiffuplexはARインタラクションポリシを通じてユーザ音声を継続的に追跡し、並列拡散を通じて応答コンテンツを独立して生成し、精製する。
その結果、セマンティック計算は知覚音声フレームレートに縛られなくなり、インテリジェンスと応答性が同時に向上する。
これらの結果は、並列計算をインテリジェントな応答生成に分割しつつ、リアルタイム対話を維持できる音声エージェントの新しいパラダイムを確立する。
コードとチェックポイントのトレーニングはすぐに有効になるでしょう。
関連論文リスト
- Spoken Language Models that Think Aloud [49.8808094623973]
Chain-of-Thought (CoT)推論は言語モデルの能力を改善し、Spoken Language Models (SLM)に直接適用した。
本稿では,Thinker-Talkerアーキテクチャ内での推論に基づくSLMのための非同期シンクアラウドフレームワークを提案する。
提案手法は,質問文の回答精度を,連続的な「考えを語る」ベースラインと同等に保ちながら,推論中のユーザの音質を著しく低下させる。
論文 参考訳(メタデータ) (2026-09-22T14:25:04Z) - Liberating LLM Capabilities in Full-Duplex Speech Models [7.252793405548695]
音声に基づく大きなモダリティ言語モデルは、通常、音声応答によって制約される。
本稿では,単一オートレがユーザの音声を聴き,可視自由形テキストを主出力として書き,リアルタイムの口頭反応を共通因果的注意の下で並列に話すという,テキストライトファースト三チャンネルパラダイムを提案する。
これらの結果から,可視文字はリアルタイムな口頭反応を犠牲にすることなく,音声対話のための第1級出力チャネルとして機能することが示唆された。
論文 参考訳(メタデータ) (2026-05-04T17:54:41Z) - MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models [62.05118198431989]
非同期のフル音声モデルは、AI停止のフルタイムの対話性と自然な性質によって区別される。
本フレームワークは,外部情報における知識要求型対話クエリと接地応答の同定を可能にする。
本設計では,再学習を伴わないプラグ・アンド・プレイ検索手法をサポートし,アウト・オブ・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー
論文 参考訳(メタデータ) (2026-04-14T16:17:52Z) - Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。
我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
論文 参考訳(メタデータ) (2026-04-11T22:34:21Z) - Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
時系列思考は、完全なSDLMの応答品質を改善することを目的としている。
追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。
結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
論文 参考訳(メタデータ) (2025-10-02T10:28:11Z) - FLM-Audio: Natural Monologues Improves Native Full-Duplex Chatbots via Dual Training [38.868221563879366]
完全なダイアログモデルは、迅速な応答を提供すると同時に話すことを目指している。
この問題に対処するために、連続した文と待ち時間からなる自然なモノローグを導入する。
音声と自然なモノローグを意味的に整合させるには,適切なトレーニングパラダイムが不可欠である。
デュアルトレーニングパラダイムは、異なるトレーニングステージ間でモノローグの位置を交換する。
FLM-AudioAudioは,実験結果から確認され,優れた応答特性とチャット体験の相違が認められた。
論文 参考訳(メタデータ) (2025-09-02T17:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。