論文の概要: Think While You Generate: Discrete Diffusion with Planned Denoising

• arxiv url: http://arxiv.org/abs/2410.06264v1
• Date: Tue, 8 Oct 2024 18:03:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:21:03.837774
• Title: Think While You Generate: Discrete Diffusion with Planned Denoising
• Title（参考訳）: 生成しながら考える - 計画されたデノイングによる拡散の離散化
• Authors: Sulin Liu, Juno Nam, Andrew Campbell, Hannes Stärk, Yilun Xu, Tommi Jaakkola, Rafael Gómez-Bombarelli,
• Abstract要約: 本稿では,計画デノイングによる離散拡散(DDPD)について紹介する。これは,生成プロセスを2つのモデル – プランナーとデノナイザ – に分割する新しいフレームワークである。 DDPDは従来の denoiser のみのマスク拡散法より優れており、言語モデリングベンチマークにおいて優れた結果が得られる。 特に言語モデリングにおいて、DDPDは、拡散に基づく手法と自己回帰的手法のパフォーマンスギャップを、生成的パープレキシティの観点から著しく減少させる。
• 参考スコア（独自算出の注目度）: 10.797958380377509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion has achieved state-of-the-art performance, outperforming or approaching autoregressive models on standard benchmarks. In this work, we introduce Discrete Diffusion with Planned Denoising (DDPD), a novel framework that separates the generation process into two models: a planner and a denoiser. At inference time, the planner selects which positions to denoise next by identifying the most corrupted positions in need of denoising, including both initially corrupted and those requiring additional refinement. This plan-and-denoise approach enables more efficient reconstruction during generation by iteratively identifying and denoising corruptions in the optimal order. DDPD outperforms traditional denoiser-only mask diffusion methods, achieving superior results on language modeling benchmarks such as text8, OpenWebText, and token-based generation on ImageNet $256 \times 256$. Notably, in language modeling, DDPD significantly reduces the performance gap between diffusion-based and autoregressive methods in terms of generative perplexity. Code is available at https://github.com/liusulin/DDPD.
• Abstract（参考訳）: 離散拡散は、標準ベンチマーク上での自己回帰モデルの性能や性能、アプローチなど、最先端のパフォーマンスを達成した。 本稿では,計画デノイングによる離散拡散(DDPD)について紹介する。このフレームワークは,生成プロセスを2つのモデル – プランナーとデノライザ – に分割する新しいフレームワークである。 推測時に、プランナーは、最初に劣化した位置と追加の洗練を必要とする位置の両方を含む最も劣化した位置を特定することによって、次に劣化する位置を選択する。 このプラン・アンド・デノエイズ・アプローチは、最適な順序で汚職を反復的に識別し、デノナイズすることで、生成中のより効率的な再構築を可能にする。 DDPDは従来の denoiser のみのマスク拡散法より優れており、text8、OpenWebText、ImageNet 256 \times 256$のトークンベースの生成などの言語モデリングベンチマークにおいて、優れた結果が得られる。 特に言語モデリングにおいて、DDPDは、拡散に基づく手法と自己回帰的手法のパフォーマンスギャップを、生成的パープレキシティの観点から著しく減少させる。 コードはhttps://github.com/liusulin/DDPD.comで入手できる。

関連論文リスト

• Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios [10.57695963534794]
  VAEに基づく手法には、局所的なジッタとグローバルな不安定性の問題が伴う。 本稿では,音声制御信号を捕捉し,拡散段差と発声段差の多モーダル denoising 分布を暗黙的に一致させる条件付き GAN を提案する。
  論文  参考訳（メタデータ） (2024-10-27T07:25:11Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• GENIE: Higher-Order Denoising Diffusion Solvers [19.79516951865819]
  拡散モデル(DDM)は、生成モデルの強力なクラスとして登場した。 前方拡散プロセスはデータをゆるやかに摂動させ、深層モデルは徐々に妄想を覚える。 学習モデルによって定義される微分方程式(DE)を解くには、高品質な生成のために遅い反復解法が必要である。 本稿では,合成を著しく高速化する新しい高次解法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:18:28Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)
• CDLNet: Noise-Adaptive Convolutional Dictionary Learning Network for Blind Denoising and Demosaicing [4.975707665155918]
  アンロール最適化ネットワークは、ディープニューラルネットワークを構築するための解釈可能な代替手段を提供する。 本稿では,非学習型畳み込み辞書学習ネットワーク(CDLNet)を提案する。 具体的には,提案モデルが類似パラメータ数にスケールした場合に,完全畳み込みモデルやJDDモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:23:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。