論文の概要: Think While You Generate: Discrete Diffusion with Planned Denoising

• arxiv url: http://arxiv.org/abs/2410.06264v1
• Date: Tue, 8 Oct 2024 18:03:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:21:03.837774
• Title: Think While You Generate: Discrete Diffusion with Planned Denoising
• Title（参考訳）: 生成しながら考える - 計画されたデノイングによる拡散の離散化
• Authors: Sulin Liu, Juno Nam, Andrew Campbell, Hannes Stärk, Yilun Xu, Tommi Jaakkola, Rafael Gómez-Bombarelli,
• Abstract要約: 本稿では,計画デノイングによる離散拡散(DDPD)について紹介する。これは,生成プロセスを2つのモデル – プランナーとデノナイザ – に分割する新しいフレームワークである。 DDPDは従来の denoiser のみのマスク拡散法より優れており、言語モデリングベンチマークにおいて優れた結果が得られる。 特に言語モデリングにおいて、DDPDは、拡散に基づく手法と自己回帰的手法のパフォーマンスギャップを、生成的パープレキシティの観点から著しく減少させる。
• 参考スコア（独自算出の注目度）: 10.797958380377509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion has achieved state-of-the-art performance, outperforming or approaching autoregressive models on standard benchmarks. In this work, we introduce Discrete Diffusion with Planned Denoising (DDPD), a novel framework that separates the generation process into two models: a planner and a denoiser. At inference time, the planner selects which positions to denoise next by identifying the most corrupted positions in need of denoising, including both initially corrupted and those requiring additional refinement. This plan-and-denoise approach enables more efficient reconstruction during generation by iteratively identifying and denoising corruptions in the optimal order. DDPD outperforms traditional denoiser-only mask diffusion methods, achieving superior results on language modeling benchmarks such as text8, OpenWebText, and token-based generation on ImageNet $256 \times 256$. Notably, in language modeling, DDPD significantly reduces the performance gap between diffusion-based and autoregressive methods in terms of generative perplexity. Code is available at https://github.com/liusulin/DDPD.
• Abstract（参考訳）: 離散拡散は、標準ベンチマーク上での自己回帰モデルの性能や性能、アプローチなど、最先端のパフォーマンスを達成した。 本稿では,計画デノイングによる離散拡散(DDPD)について紹介する。このフレームワークは,生成プロセスを2つのモデル – プランナーとデノライザ – に分割する新しいフレームワークである。 推測時に、プランナーは、最初に劣化した位置と追加の洗練を必要とする位置の両方を含む最も劣化した位置を特定することによって、次に劣化する位置を選択する。 このプラン・アンド・デノエイズ・アプローチは、最適な順序で汚職を反復的に識別し、デノナイズすることで、生成中のより効率的な再構築を可能にする。 DDPDは従来の denoiser のみのマスク拡散法より優れており、text8、OpenWebText、ImageNet 256 \times 256$のトークンベースの生成などの言語モデリングベンチマークにおいて、優れた結果が得られる。 特に言語モデリングにおいて、DDPDは、拡散に基づく手法と自己回帰的手法のパフォーマンスギャップを、生成的パープレキシティの観点から著しく減少させる。 コードはhttps://github.com/liusulin/DDPD.comで入手できる。

関連論文リスト

• Fast Solvers for Discrete Diffusion Models: Theory and Applications of High-Order Algorithms [31.42317398879432]
  現在の推論アプローチは主に、正確なシミュレーションと$tau$-leapingのような近似メソッドの2つのカテゴリに分類される。 本研究では,高次数値推論スキームの最初の拡張を離散拡散モデルに合わせることで,後者のカテゴリを推し進める。 提案手法を厳密に解析し,KL分散における$theta$-trapezoidal法の2次精度を確立する。
  論文  参考訳（メタデータ） (2025-02-01T00:25:21Z)
• Binary Diffusion Probabilistic Model [4.671529048076975]
  本稿では,バイナリデータ表現に最適化された新しい生成モデルであるバイナリ拡散確率モデル(BDPM)を紹介する。 BDPMは、画像をビットプレーンに分解し、XORベースのノイズ変換を採用することでこの問題に対処する。 このアプローチは、正確なノイズ制御と計算効率の良い推論を可能にし、計算コストを大幅に削減し、モデル収束を改善する。
  論文  参考訳（メタデータ） (2025-01-23T18:52:47Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• GENIE: Higher-Order Denoising Diffusion Solvers [19.79516951865819]
  拡散モデル(DDM)は、生成モデルの強力なクラスとして登場した。 前方拡散プロセスはデータをゆるやかに摂動させ、深層モデルは徐々に妄想を覚える。 学習モデルによって定義される微分方程式(DE)を解くには、高品質な生成のために遅い反復解法が必要である。 本稿では,合成を著しく高速化する新しい高次解法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:18:28Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。