論文の概要: Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner

• arxiv url: http://arxiv.org/abs/2510.03206v1
• Date: Fri, 03 Oct 2025 17:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.518759
• Title: Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
• Title（参考訳）: Coevolutionary Continuous Discrete Diffusion: 拡散言語モデルを遅延推論器にする
• Authors: Cai Zhou, Chenxiao Yang, Yi Hu, Chenyu Wang, Chubin Zhang, Muhan Zhang, Lester Mackey, Tommi Jaakkola, Stephen Bates, Dinghuai Zhang,
• Abstract要約: 拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
• 参考スコア（独自算出の注目度）: 66.86440230599656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models, especially masked discrete diffusion models, have achieved great success recently. While there are some theoretical and primary empirical results showing the advantages of latent reasoning with looped transformers or continuous chain-of-thoughts, continuous diffusion models typically underperform their discrete counterparts. In this paper, we argue that diffusion language models do not necessarily need to be in the discrete space. In particular, we prove that continuous diffusion models have stronger expressivity than discrete diffusions and looped transformers. We attribute the contradiction between the theoretical expressiveness and empirical performance to their practical trainability: while continuous diffusion provides intermediate supervision that looped transformers lack, they introduce additional difficulty decoding tokens into the discrete token space from the continuous representation space. We therefore propose Coevolutionary Continuous Discrete Diffusion (CCDD), which defines a joint multimodal diffusion process on the union of a continuous representation space and a discrete token space, leveraging a single model to simultaneously denoise in the joint space. By combining two modalities, CCDD is expressive with rich semantics in the latent space, as well as good trainability and sample quality with the help of explicit discrete tokens. We also propose effective architectures and advanced training/sampling techniques for CCDD, which reveals strong empirical performance in extensive language modeling experiments on real-world tasks.
• Abstract（参考訳）: 拡散言語モデル、特にマスク付き離散拡散モデルは近年大きな成功を収めている。 ループ変換器や連続的なチェーン・オブ・シントによる潜在推論の利点を示す理論的および一次的な実験的な結果もあるが、連続拡散モデルは典型的にはそれらの離散的推論よりも優れる。 本稿では,拡散言語モデルが必ずしも離散空間に存在する必要はないことを論じる。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 連続拡散はループ変換器に欠ける中間的な監督を提供するが、連続表現空間から離散トークン空間にトークンを復号化することがさらに困難である。 そこで我々は,連続表現空間と離散トークン空間の結合に関する連立多モード拡散過程を定義する共進化連続離散拡散法(CCDD)を提案する。 2つのモダリティを組み合わせることで、CCDDは潜在空間におけるリッチなセマンティクスと表現され、明確な離散トークンの助けを借りて、優れたトレーニング容易性とサンプル品質を持つ。 また,CCDDのための効果的なアーキテクチャと高度なトレーニング/サンプリング手法を提案し,実世界のタスクにおける広範囲な言語モデリング実験において,強力な経験的性能を示す。

関連論文リスト

• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• G2D2: Gradient-Guided Discrete Diffusion for Inverse Problem Solving [83.56510119503267]
  本稿では,従来の離散拡散に基づく生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々は、従来の離散拡散モデルの欠点を吸収状態で緩和するために、星型ノイズプロセスを用いる。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space [7.131920232495329]
  現実の会話では、内容は多様であり、多種多様な世代を必要とする一対多の問題が存在する。 以前の研究では、離散型あるいはガウス型連続潜伏変数を導入し、一対多の問題に対処しようとした。 拡散モデルの助けを借りて対話生成の多様性を高める新しい手法であるDiffusionDialogを提案する。
  論文  参考訳（メタデータ） (2024-04-10T05:56:46Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Continuous diffusion for categorical data [42.60475010640669]
  時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。 いくつかの言語モデリングタスクにおいて,その有効性を示す。
  論文  参考訳（メタデータ） (2022-11-28T06:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。