論文の概要: CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think

• arxiv url: http://arxiv.org/abs/2603.02547v1
• Date: Tue, 03 Mar 2026 03:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.611613
• Title: CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think
• Title（参考訳）: CoDAR: 継続的拡散言語モデルは、あなたが考えるよりも強力
• Authors: Junzhe Shen, Jieru Zhao, Ziwei He, Zhouhan Lin,
• Abstract要約: CoDARは、強いコンテキスト条件の離散化学習をしながら、埋め込み空間における拡散を完全に連続的に維持する2段階のフレームワークである。 LM1BとOpenWebTextの実験は、CoDARが潜伏拡散よりも生成品質を大幅に改善することを示した。
• 参考スコア（独自算出の注目度）: 17.27394520177311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study why continuous diffusion language models (DLMs) have lagged behind discrete diffusion approaches despite their appealing continuous generative dynamics. Under a controlled token--recovery study, we identify token rounding, the final projection from denoised embeddings to tokens, as a primary bottleneck. Building on these insights, we propose CoDAR (Continuous Diffusion with Contextual AutoRegressive Decoder), a two--stage framework that keeps diffusion entirely continuous in an embedding space while learning a strong, context--conditional discretizer: an autoregressive Transformer decoder that cross--attends to the denoised embedding sequence and performs contextualized rounding to tokens. Experiments on LM1B and OpenWebText demonstrate that CoDAR substantially improves generation quality over latent diffusion and becomes competitive with strong discrete DLMs, while exposing a simple decoder--temperature knob to navigate the fluency--diversity trade off.
• Abstract（参考訳）: 連続拡散言語モデル (DLMs) が, 連続生成力学が優れているにもかかわらず, 離散拡散アプローチに遅れをきたした理由を考察する。 制御されたトークン-リカバリ研究により、トークンラウンドリング(トークンラウンドリングからトークンへの最終射影)を主要なボトルネックとして特定する。これらの知見に基づいて、強いコンテキスト-条件付き離散化器を学習しながら、埋め込み空間で完全に連続的に拡散を維持する2段階のフレームワークであるCoDAR(Continuous Diffusion with Contextual AutoRegressive Decoder)を提案する。 LM1BとOpenWebTextの実験では、CoDARは遅延拡散よりも生成品質を著しく改善し、強い離散DLMと競合する一方で、簡単なデコーダ-温度ノブを露呈し、フラレンシ-多様性のトレードオフをナビゲートする。

関連論文リスト

• Diffusion-DRF: Differentiable Reward Flow for Video Diffusion Fine-Tuning [72.16213872139748]
  Diffusion-DRFは、微調整ビデオ拡散モデルのための微分可能な報酬フローである。 拡散縮退鎖を介してVLMフィードバックをバックプロパゲートする。 ビデオの品質とセマンティックアライメントを改善し、報酬のハッキングと崩壊を緩和する。
  論文  参考訳（メタデータ） (2026-01-07T18:05:08Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• CANDI: Hybrid Discrete-Continuous Diffusion Models [36.61898210733147]
  ノイズが離散的なデータの分解を2つのメカニズムで示す: 離散的なアイデンティティの破損と連続的なランクの劣化である。 離散的・連続的な腐敗を分離するハイブリッドフレームワークであるCANDIを提案する。 これは離散空間に対する連続拡散の利点を解放する。
  論文  参考訳（メタデータ） (2025-10-26T03:24:31Z)
• Latent Discrete Diffusion Models [18.979326092796896]
  言語および他の分類データに対する離散拡散について検討する。 EmphLatent Discrete Diffusion Models (LDDM)を提案する。 i)トークンと潜伏剤の完全結合分解を行うFUJI-LDDMと(ii)シークエントを逐次分解するSEQ-LDDMの2つのインスタンスを提案する。 どちらの変種に対しても、ELBOスタイルの目的を導出し、ディファソインモデリングに適さない情報的潜伏者を学習するための設計選択について議論する。
  論文  参考訳（メタデータ） (2025-10-20T21:26:52Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Authentic Discrete Diffusion Model [72.31371542619121]
  認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。 ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。 実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-01T15:51:10Z)
• Segment-Level Diffusion: A Framework for Controllable Long-Form Generation with Diffusion Language Models [12.446047799880587]
  トークンレベルの拡散は、単語順依存を明示的にモデル化しない。 パッセージレベルの拡散は、長文の堅牢な表現を学習するのに苦労する。 拡散に基づくテキスト生成を促進するフレームワークであるSegment-Level Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-12-15T22:47:44Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  ACDiTはブロックワイド条件拡散変換器である。 トークン単位の自己回帰とフルシーケンス拡散のフレキシブルな関係を提供する。 本稿では,映像生成タスクにおける自己回帰ベースラインの中で,ACDiTが最良であることを示す。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。