論文の概要: Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
- arxiv url: http://arxiv.org/abs/2510.03206v1
- Date: Fri, 03 Oct 2025 17:44:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.518759
- Title: Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
- Title（参考訳）: Coevolutionary Continuous Discrete Diffusion: 拡散言語モデルを遅延推論器にする
- Authors: Cai Zhou, Chenxiao Yang, Yi Hu, Chenyu Wang, Chubin Zhang, Muhan Zhang, Lester Mackey, Tommi Jaakkola, Stephen Bates, Dinghuai Zhang,
- Abstract要約: 拡散言語モデルは必ずしも離散空間にある必要はないと主張する。
特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。
本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
- 参考スコア（独自算出の注目度）: 66.86440230599656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models, especially masked discrete diffusion models, have achieved great success recently. While there are some theoretical and primary empirical results showing the advantages of latent reasoning with looped transformers or continuous chain-of-thoughts, continuous diffusion models typically underperform their discrete counterparts. In this paper, we argue that diffusion language models do not necessarily need to be in the discrete space. In particular, we prove that continuous diffusion models have stronger expressivity than discrete diffusions and looped transformers. We attribute the contradiction between the theoretical expressiveness and empirical performance to their practical trainability: while continuous diffusion provides intermediate supervision that looped transformers lack, they introduce additional difficulty decoding tokens into the discrete token space from the continuous representation space. We therefore propose Coevolutionary Continuous Discrete Diffusion (CCDD), which defines a joint multimodal diffusion process on the union of a continuous representation space and a discrete token space, leveraging a single model to simultaneously denoise in the joint space. By combining two modalities, CCDD is expressive with rich semantics in the latent space, as well as good trainability and sample quality with the help of explicit discrete tokens. We also propose effective architectures and advanced training/sampling techniques for CCDD, which reveals strong empirical performance in extensive language modeling experiments on real-world tasks.
- Abstract（参考訳）: 拡散言語モデル、特にマスク付き離散拡散モデルは近年大きな成功を収めている。
ループ変換器や連続的なチェーン・オブ・シントによる潜在推論の利点を示す理論的および一次的な実験的な結果もあるが、連続拡散モデルは典型的にはそれらの離散的推論よりも優れる。
本稿では,拡散言語モデルが必ずしも離散空間に存在する必要はないことを論じる。
特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。
連続拡散はループ変換器に欠ける中間的な監督を提供するが、連続表現空間から離散トークン空間にトークンを復号化することがさらに困難である。
そこで我々は,連続表現空間と離散トークン空間の結合に関する連立多モード拡散過程を定義する共進化連続離散拡散法(CCDD)を提案する。
2つのモダリティを組み合わせることで、CCDDは潜在空間におけるリッチなセマンティクスと表現され、明確な離散トークンの助けを借りて、優れたトレーニング容易性とサンプル品質を持つ。
また,CCDDのための効果的なアーキテクチャと高度なトレーニング/サンプリング手法を提案し,実世界のタスクにおける広範囲な言語モデリング実験において,強力な経験的性能を示す。
関連論文リスト
- Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - On the Role of Discreteness in Diffusion LLMs [69.64854287505999]
拡散過程と言語モデリングの観点を再考し、拡散力学と言語固有の要件を分離する5つの特性を概説する。
i) 均一な汚職は、どのように情報を配置するかを尊重せず、 (ii) トークンワイドの辺縁トレーニングは、並列デコーディング中にマルチトークンの依存関係をキャプチャできない。
これらの観察は、テキストの構造とより密接に一致した拡散過程を動機付け、より一貫性のある拡散言語モデルに向けた将来の研究を促進する。
論文 参考訳（メタデータ） (2025-12-27T16:03:08Z) - Guided Transfer Learning for Discrete Diffusion Models [21.909689920217982]
離散拡散モデル(GTL)のためのガイド伝達学習を提案する。
GTLは、事前訓練されたデノイザを変更することなく、ターゲット分布からのサンプリングを可能にする。
また、プランナー選択された位置と上位候補トークンの評価に集中する効率的なガイド付きサンプリング手法を提案する。
論文 参考訳（メタデータ） (2025-12-11T18:05:55Z) - Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
この記事は、一般状態空間上の拡散に関する自己完結プライマーである。
我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。
一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
論文 参考訳（メタデータ） (2025-12-04T18:55:36Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。
ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。
GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文 参考訳（メタデータ） (2025-03-06T14:30:55Z) - Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - G2D2: Gradient-Guided Discrete Diffusion for Inverse Problem Solving [83.56510119503267]
本稿では,従来の離散拡散に基づく生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。
我々は、従来の離散拡散モデルの欠点を吸収状態で緩和するために、星型ノイズプロセスを用いる。
論文 参考訳（メタデータ） (2024-10-09T06:18:25Z) - DiffusionDialog: A Diffusion Model for Diverse Dialog Generation with Latent Space [7.131920232495329]
現実の会話では、内容は多様であり、多種多様な世代を必要とする一対多の問題が存在する。
以前の研究では、離散型あるいはガウス型連続潜伏変数を導入し、一対多の問題に対処しようとした。
拡散モデルの助けを借りて対話生成の多様性を高める新しい手法であるDiffusionDialogを提案する。
論文 参考訳（メタデータ） (2024-04-10T05:56:46Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - Continuous diffusion for categorical data [42.60475010640669]
時間空間と入力空間の両方で連続的な拡散モデルを用いて分類データをモデル化するCDCDを提案する。
いくつかの言語モデリングタスクにおいて,その有効性を示す。
論文 参考訳（メタデータ） (2022-11-28T06:08:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。