論文の概要: Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

• arxiv url: http://arxiv.org/abs/2510.01329v1
• Date: Wed, 01 Oct 2025 18:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.807348
• Title: Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling
• Title（参考訳）: カテゴリー生成モデルのための連続的な離散拡散モデル
• Authors: Huangjie Zheng, Shansan Gong, Ruixiang Zhang, Tianrong Chen, Jiatao Gu, Mingyuan Zhou, Navdeep Jaitly, Yizhe Zhang,
• Abstract要約: 標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
• 参考スコア（独自算出の注目度）: 87.34677262370924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard discrete diffusion models treat all unobserved states identically by mapping them to an absorbing [MASK] token. This creates an 'information void' where semantic information that could be inferred from unmasked tokens is lost between denoising steps. We introduce Continuously Augmented Discrete Diffusion (CADD), a framework that augments the discrete state space with a paired diffusion in a continuous latent space. This yields graded, gradually corrupted states in which masked tokens are represented by noisy yet informative latent vectors rather than collapsed 'information voids'. At each reverse step, CADD may leverage the continuous latent as a semantic hint to guide discrete denoising. The design is clean and compatible with existing discrete diffusion training. At sampling time, the strength and choice of estimator for the continuous latent vector enables a controlled trade-off between mode-coverage (generating diverse outputs) and mode-seeking (generating contextually precise outputs) behaviors. Empirically, we demonstrate CADD improves generative quality over mask-based diffusion across text generation, image synthesis, and code modeling, with consistent gains on both qualitative and quantitative metrics against strong discrete baselines.
• Abstract（参考訳）: 標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 本研究では,離散状態空間を連続潜伏空間にペア拡散させて拡張するフレームワークである連続拡張離散拡散(CADD)を紹介する。 これは、マスクされたトークンが崩壊した「情報空白」ではなく、ノイズが多いが情報的な潜伏ベクトルによって表される、段階的に劣化した状態をもたらす。 各逆ステップでは、CADDは連続潜伏剤を意味的ヒントとして利用し、離散化を導く。 設計はクリーンで、既存の離散拡散訓練と互換性がある。 サンプリング時に、連続潜時ベクトルに対する推定器の強度と選択は、モード被覆(多種多様な出力を生成する)とモード探索(文脈的に正確な出力を生成する)の挙動の制御トレードオフを可能にする。 実験的に、CADDは、テキスト生成、画像合成、コードモデリングにおけるマスクベースの拡散よりも、生成品質の向上を実証する。

関連論文リスト

• Authentic Discrete Diffusion Model [72.31371542619121]
  認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。 ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。 実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-01T15:51:10Z)
• Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes [9.29387855908007]
  NeoDiffは、離散的アプローチと連続的アプローチの両方の長所を統合する、新しい拡散モデルである。 我々のアプローチは、テキスト生成のためのより原理的で効果的なフレームワークを提供する、離散的かつ連続的な拡散モデルの理論を統一する。
  論文  参考訳（メタデータ） (2025-05-28T09:28:52Z)
• What is Adversarial Training for Diffusion Models? [4.71482540145286]
  拡散モデル(DM)に対する対戦訓練(AT)は,分類器と根本的に異なることを示す。 ATは拡散流の滑らかさを強制し、異常値と破損したデータを改善する方法である。 我々は,低次元および高次元空間における既知の分布を持つ概念実証データセットを用いて,我々のアプローチを厳密に評価する。
  論文  参考訳（メタデータ） (2025-05-27T20:32:28Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Interleaved Gibbs Diffusion: Generating Discrete-Continuous Data with Implicit Constraints [30.624303845550575]
  Interleaved Gibbs Diffusion (IGD)は、離散連続データのための新しい生成モデリングフレームワークである。 IGDは離散時間ギブスサンプリング型マルコフ連鎖を離散連続生成の場合に一般化する。 ドメイン固有の帰納バイアスに頼ることなく、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-02-19T05:51:24Z)
• Continuous Speculative Decoding for Autoregressive Image Generation [27.308442169466975]
  連続的視覚自己回帰(AR)モデルは、画像生成において有望な性能を示す。 投機的復号化は 事実上 自己回帰推論を加速させた この研究は、低受理率、不整合出力分布、解析式のない修正分布からの課題に対処する。
  論文  参考訳（メタデータ） (2024-11-18T09:19:15Z)
• G2D2: Gradient-Guided Discrete Diffusion for Inverse Problem Solving [83.56510119503267]
  本稿では,従来の離散拡散に基づく生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々は、従来の離散拡散モデルの欠点を吸収状態で緩和するために、星型ノイズプロセスを用いる。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。