論文の概要: Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes

• arxiv url: http://arxiv.org/abs/2505.22165v1
• Date: Wed, 28 May 2025 09:28:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.536327
• Title: Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes
• Title（参考訳）: 非同時拡散プロセスによる連続および離散テキスト拡散の統一
• Authors: Bocheng Li, Zhujin Gao, Linli Xu,
• Abstract要約: NeoDiffは、離散的アプローチと連続的アプローチの両方の長所を統合する、新しい拡散モデルである。 我々のアプローチは、テキスト生成のためのより原理的で効果的なフレームワークを提供する、離散的かつ連続的な拡散モデルの理論を統一する。
• 参考スコア（独自算出の注目度）: 9.29387855908007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a promising approach for text generation, with recent works falling into two main categories: discrete and continuous diffusion models. Discrete diffusion models apply token corruption independently using categorical distributions, allowing for different diffusion progress across tokens but lacking fine-grained control. Continuous diffusion models map tokens to continuous spaces and apply fine-grained noise, but the diffusion progress is uniform across tokens, limiting their ability to capture semantic nuances. To address these limitations, we propose \textbf{\underline{N}}on-simultan\textbf{\underline{e}}ous C\textbf{\underline{o}}ntinuous \textbf{\underline{Diff}}usion Models (NeoDiff), a novel diffusion model that integrates the strengths of both discrete and continuous approaches. NeoDiff introduces a Poisson diffusion process for the forward process, enabling a flexible and fine-grained noising paradigm, and employs a time predictor for the reverse process to adaptively modulate the denoising progress based on token semantics. Furthermore, NeoDiff utilizes an optimized schedule for inference to ensure more precise noise control and improved performance. Our approach unifies the theories of discrete and continuous diffusion models, offering a more principled and effective framework for text generation. Experimental results on several text generation tasks demonstrate NeoDiff's superior performance compared to baselines of non-autoregressive continuous and discrete diffusion models, iterative-based methods and autoregressive diffusion-based methods. These results highlight NeoDiff's potential as a powerful tool for generating high-quality text and advancing the field of diffusion-based text generation.
• Abstract（参考訳）: 拡散モデルはテキスト生成において有望なアプローチとして現れており、最近の研究は離散拡散モデルと連続拡散モデルという2つの主要なカテゴリに分類されている。 離散拡散モデルは、分類的分布を用いて独立にトークンの腐敗を適用し、トークン間の拡散の進行は異なるがきめ細かい制御を欠くことができる。 連続拡散モデルはトークンを連続空間にマッピングし、きめ細かいノイズを適用するが、拡散の進行はトークン全体に均一であり、意味的ニュアンスを捕捉する能力を制限する。 これらの制約に対処するため、離散的および連続的なアプローチの長所を統合する新しい拡散モデルである \textbf{\underline{N}}on-simultan\textbf{\underline{e}}ous C\textbf{\underline{o}}ntinuous \textbf{\underline{Diff}}usion Models (NeoDiff) を提案する。 NeoDiffは、フォワードプロセスのためのPoisson拡散プロセスを導入し、フレキシブルできめ細かなノイズ発生パラダイムを可能にし、逆プロセスの時間予測器を使用してトークンセマンティクスに基づいたノイズ発生を適応的に調節する。 さらに、NeoDiffは、より正確なノイズ制御と性能向上を保証するために、推論に最適化されたスケジュールを利用する。 我々のアプローチは、テキスト生成のためのより原理的で効果的なフレームワークを提供する、離散的かつ連続的な拡散モデルの理論を統一する。 いくつかのテキスト生成タスクの実験結果は、非自己回帰的連続および離散拡散モデル、反復的手法、自己回帰的拡散に基づく手法のベースラインと比較して、NeoDiffの優れた性能を示す。 これらの結果は、高品質なテキストを生成し、拡散ベースのテキスト生成の分野を前進させる強力なツールとして、NeoDiffの可能性を浮き彫りにしている。

関連論文リスト

• Constrained Discrete Diffusion [61.81569616239755]
  本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。 CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2025-03-12T19:48:12Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 離散拡散過程を補間する一般族の理論的バックボーンを導出する。 GIDDのフレキシビリティをエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction [17.005198258689035]
  拡散確率モデル(DPM)は、高忠実度画像合成のデファクトアプローチとして登場した。 本稿では, 再帰的拡散確率モデル(RDPM, Recurrent Diffusion Probabilistic Model)を提案する。
  論文  参考訳（メタデータ） (2024-12-24T12:28:19Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Discrete Diffusion Language Model for Efficient Text Summarization [19.267738861590487]
  本稿では,トランスフォーマーのバックボーンが長いシーケンスを効果的に扱えるような,セマンティック・アウェア・ノーミング・プロセスを提案する。 提案手法は,Gigaword,CNN/DailyMail,Arxivの3つのベンチマーク要約データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:55:22Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• TESS: Text-to-Text Self-Conditioned Simplex Diffusion [56.881170312435444]
  テキストからテキストへの自己条件付きSimplex Diffusionは、新しい形式のセルフコンディショニングを採用し、学習された埋め込み空間ではなく、ロジット単純空間に拡散プロセスを適用する。 我々は、TESSが最先端の非自己回帰モデルより優れており、性能の低下を最小限に抑えた拡散ステップを少なくし、事前訓練された自己回帰列列列列モデルと競合することを示した。
  論文  参考訳（メタデータ） (2023-05-15T06:33:45Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。