論文の概要: CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language
- arxiv url: http://arxiv.org/abs/2603.20210v2
- Date: Tue, 24 Mar 2026 10:55:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:12.888497
- Title: CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language
- Title（参考訳）: CRoCoDiL: 言語のための連続的かつロバストな条件付き拡散
- Authors: Roy Uziel, Omer Belhasin, Itay Levi, Akhiad Bercovich, Ran El-Yaniv, Ran Zilberstein, Michael Elad,
- Abstract要約: Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。
拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
- 参考スコア（独自算出の注目度）: 21.764828393078886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked Diffusion Models (MDMs) provide an efficient non-causal alternative to autoregressive generation but often struggle with token dependencies and semantic incoherence due to their reliance on discrete marginal distributions. We address these limitations by shifting the diffusion process into a continuous sentence-level semantic space. We propose CRoCoDiL (Continuous and Robust Conditioned Diffusion for Language), a unified fine-tuning approach that jointly trains an encoder-demasker architecture, grounding the MDM demasking in continuous latent representations. This leads to the formation of a novel autoencoder in which decoding is obtained by an MDM algorithm. Relying on the same framework, we introduce two unconditional text synthesis algorithms: Continuous-Then-Discrete (ConThenDisc), a hybrid-diffusion approach that first generates latent representations in continuous space and then decodes these to tokens via an MDM, and Continuous-Within-Discrete (ConWithinDisc), a multi-diffusion strategy that refines latent representations throughout the discrete sampling process. Experiments using LLaDA show that our methods achieve superior generation quality and more than 10x faster sampling speeds in an unconditional setting.
- Abstract（参考訳）: Masked Diffusion Models (MDMs) は自己回帰生成に代わる効率的な非因果的代替手段を提供するが、トークンの依存関係や意味的不整合に苦慮することが多い。
拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
本稿では,CRoCoDiL(Continuous and Robust Conditioned Diffusion for Language)を提案する。
これにより、MDMアルゴリズムによってデコードが得られる新しいオートエンコーダが形成される。
連続-Then-Discrete (ConThenDisc) は、まず連続空間で遅延表現を生成し、次にMDMを介してトークンにデコードするハイブリッド拡散アプローチであり、また、離散サンプリングプロセス全体を通して遅延表現を洗練するマルチ拡散戦略であるConWithin-Discrete (ConWithinDisc) である。
LLaDAを用いた実験により,本手法は非条件条件下でより優れた生成品質と10倍以上のサンプリング速度を実現することが示された。
関連論文リスト
- Locally Coherent Parallel Decoding in Diffusion Language Models [6.620088179445404]
拡散言語モデル(DLM)は、線形生成遅延と双方向機能を提供する。
標準DLMは条件付き境界分布とは独立してトークンをサンプリングする。
並列サンプリングを局所的依存モデルと照合する手法であるCoDiLAを紹介する。
論文 参考訳（メタデータ） (2026-03-03T09:56:53Z) - CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think [17.27394520177311]
CoDARは、強いコンテキスト条件の離散化学習をしながら、埋め込み空間における拡散を完全に連続的に維持する2段階のフレームワークである。
LM1BとOpenWebTextの実験は、CoDARが潜伏拡散よりも生成品質を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-03-03T03:05:15Z) - Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。
我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。
本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
論文 参考訳（メタデータ） (2026-02-26T11:08:11Z) - Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。
提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。
粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文 参考訳（メタデータ） (2026-02-02T09:21:45Z) - Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。
我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文 参考訳（メタデータ） (2026-01-29T17:38:29Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models [63.50827603618498]
提案するSparse-LaViDaは,MDMサンプリングを高速化するために,各推論ステップで不要なマスク付きトークンをトランケートするモデリングフレームワークである。
最先端の統一MDM LaViDa-Oをベースに構築されたSparse-LaViDaは、さまざまなタスクで最大2倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2025-12-16T02:06:06Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction [17.005198258689035]
拡散確率モデル(DPM)は、高忠実度画像合成のデファクトアプローチとして登場した。
本稿では, 再帰的拡散確率モデル(RDPM, Recurrent Diffusion Probabilistic Model)を提案する。
論文 参考訳（メタデータ） (2024-12-24T12:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。