論文の概要: CANDI: Hybrid Discrete-Continuous Diffusion Models

• arxiv url: http://arxiv.org/abs/2510.22510v2
• Date: Tue, 28 Oct 2025 19:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 13:34:45.437042
• Title: CANDI: Hybrid Discrete-Continuous Diffusion Models
• Title（参考訳）: CANDI: 離散連続拡散モデル
• Authors: Patrick Pynadath, Jiaxin Shi, Ruqi Zhang,
• Abstract要約: ノイズが離散的なデータの分解を2つのメカニズムで示す: 離散的なアイデンティティの破損と連続的なランクの劣化である。 離散的・連続的な腐敗を分離するハイブリッドフレームワークであるCANDIを提案する。 これは離散空間に対する連続拡散の利点を解放する。
• 参考スコア（独自算出の注目度）: 36.61898210733147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While continuous diffusion has shown remarkable success in continuous domains such as image generation, its direct application to discrete data has underperformed compared to purely discrete formulations. This gap is counterintuitive, given that continuous diffusion learns score functions that enable joint evolution across multiple positions. To understand this gap, we introduce token identifiability as an analytical framework for understanding how Gaussian noise corrupts discrete data through two mechanisms: discrete identity corruption and continuous rank degradation. We reveal that these mechanisms scale differently with vocabulary size, creating a temporal dissonance: at noise levels where discrete corruption preserves enough structure for conditional learning, continuous denoising is trivial; at noise levels where continuous denoising is meaningful, discrete corruption destroys nearly all conditional structure. To solve this, we propose CANDI (Continuous ANd DIscrete diffusion), a hybrid framework that decouples discrete and continuous corruption, enabling simultaneous learning of both conditional structure and continuous geometry. We empirically validate the temporal dissonance phenomenon and demonstrate that CANDI successfully avoids it. This unlocks the benefits of continuous diffusion for discrete spaces: on controlled generation, CANDI enables classifier-based guidance with off-the-shelf classifiers through simple gradient addition; on text generation, CANDI outperforms masked diffusion at low NFE, demonstrating the value of learning continuous gradients for discrete spaces. We include the code on the project page available here: https://patrickpynadath1.github.io/candi-lander
• Abstract（参考訳）: 連続拡散は画像生成のような連続した領域で顕著に成功したが、離散データへの直接的適用は純粋に離散的な定式化に比べて性能が劣っている。 このギャップは、連続拡散が複数の位置をまたぐ共同進化を可能にするスコア関数を学ぶことを考えると、直感的ではない。 このギャップを理解するために、ガウスノイズが離散的アイデンティティの破損と連続的なランクの劣化という2つのメカニズムを通して離散的データを分解する方法を理解するための分析的枠組みとしてトークン識別可能性を導入する。 離散的破壊が条件学習に十分な構造を保っている雑音レベルでは、連続的認知が意味のある雑音レベルでは、離散的破壊がほとんど全ての条件構造を破壊する。 この問題を解決するために,離散的・連続的な汚職を分離し,条件構造と連続幾何学の同時学習を可能にするハイブリッドフレームワークであるCANDI(Continuous ANd DIscrete diffusion)を提案する。 我々は,時間的不協和現象を実証的に検証し,CANDIが回避できることを実証した。 このことは、離散空間に対する連続拡散の利点を解放する:制御された生成において、CANDIは単純な勾配付加を通じて、既製の分類器による分類器ベースのガイダンスを可能にし、テキスト生成において、CANDIは低NFEでのマスク拡散より優れ、離散空間に対する連続勾配の学習価値を示す。 https://patrickpynadath1.github.io/candi-lander

関連論文リスト

• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Constrained Discrete Diffusion [61.81569616239755]
  本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。 CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2025-03-12T19:48:12Z)
• Unified Discrete Diffusion for Categorical Data [37.56355078250024]
  離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。 本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
  論文  参考訳（メタデータ） (2024-02-06T04:42:36Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• DINOISER: Diffused Conditional Sequence Learning by Manipulating Noises [38.72460741779243]
  ノイズを操作することでシーケンス生成のための拡散モデルを容易にするためにDINOISERを導入する。 実験により、DINOISERは、従来の拡散に基づくシーケンス生成モデルのベースラインよりも一貫した改善を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-02-20T15:14:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。