論文の概要: GENIE: Higher-Order Denoising Diffusion Solvers

• arxiv url: http://arxiv.org/abs/2210.05475v1
• Date: Tue, 11 Oct 2022 14:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:36:50.429721
• Title: GENIE: Higher-Order Denoising Diffusion Solvers
• Title（参考訳）: GENIE:高次拡散解法
• Authors: Tim Dockhorn, Arash Vahdat, Karsten Kreis
• Abstract要約: 拡散モデル(DDM)は、生成モデルの強力なクラスとして登場した。 前方拡散プロセスはデータをゆるやかに摂動させ、深層モデルは徐々に妄想を覚える。 学習モデルによって定義される微分方程式(DE)を解くには、高品質な生成のために遅い反復解法が必要である。 本稿では,合成を著しく高速化する新しい高次解法を提案する。
• 参考スコア（独自算出の注目度）: 19.79516951865819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising diffusion models (DDMs) have emerged as a powerful class of generative models. A forward diffusion process slowly perturbs the data, while a deep model learns to gradually denoise. Synthesis amounts to solving a differential equation (DE) defined by the learnt model. Solving the DE requires slow iterative solvers for high-quality generation. In this work, we propose Higher-Order Denoising Diffusion Solvers (GENIE): Based on truncated Taylor methods, we derive a novel higher-order solver that significantly accelerates synthesis. Our solver relies on higher-order gradients of the perturbed data distribution, that is, higher-order score functions. In practice, only Jacobian-vector products (JVPs) are required and we propose to extract them from the first-order score network via automatic differentiation. We then distill the JVPs into a separate neural network that allows us to efficiently compute the necessary higher-order terms for our novel sampler during synthesis. We only need to train a small additional head on top of the first-order score network. We validate GENIE on multiple image generation benchmarks and demonstrate that GENIE outperforms all previous solvers. Unlike recent methods that fundamentally alter the generation process in DDMs, our GENIE solves the true generative DE and still enables applications such as encoding and guided sampling. Project page and code: https://nv-tlabs.github.io/GENIE.
• Abstract（参考訳）: denoising diffusion models (ddms) は生成モデルの強力なクラスとして登場した。 前方拡散過程は緩やかにデータを摂動させ、深層モデルは徐々に消音するように学習する。 合成は学習モデルによって定義される微分方程式(DE)を解くのに等しい。 DEを解くには、高品質な生成のために遅い反復解法が必要である。 本研究では,高次解法(GENIE: Higher-Order Denoising Diffusion Solvers)を提案する。 我々の解法は摂動データ分布の高次勾配、すなわち高次スコア関数に依存している。 実際には,ジャコビアンベクター製品(JVP)のみが必要であり,自動微分による1次スコアネットワークから抽出することを提案する。 そして、jvpを別個のニューラルネットワークに蒸留することで、合成中に新しいスペンサーに必要な高次項を効率的に計算できるのです。 1階のスコアネットワークの上に、小さなヘッドをトレーニングするだけでよいのです。 我々は、複数の画像生成ベンチマーク上でGENIEを検証し、GENIEがすべての従来の解法よりも優れていることを示す。 ddmsで生成プロセスを根本的に変更する最近の手法とは異なり、われわれのジェネリーは真の生成deを解決し、符号化やガイドサンプリングのような応用も可能にしている。 プロジェクトページとコード: https://nv-tlabs.github.io/genie。

関連論文リスト

• Think While You Generate: Discrete Diffusion with Planned Denoising [10.797958380377509]
  本稿では,計画デノイングによる離散拡散(DDPD)について紹介する。これは,生成プロセスを2つのモデル – プランナーとデノナイザ – に分割する新しいフレームワークである。 DDPDは従来の denoiser のみのマスク拡散法より優れており、言語モデリングベンチマークにおいて優れた結果が得られる。 特に言語モデリングにおいて、DDPDは、拡散に基づく手法と自己回帰的手法のパフォーマンスギャップを、生成的パープレキシティの観点から著しく減少させる。
  論文  参考訳（メタデータ） (2024-10-08T18:03:34Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Using Intermediate Forward Iterates for Intermediate Generator Optimization [14.987013151525368]
  中間ジェネレータ最適化は、生成タスクのための任意の標準オートエンコーダパイプラインに組み込むことができる。 IGOの2つの密集予測タスク(viz.)、画像外挿、点雲デノイング(denoising)に対する応用を示す。
  論文  参考訳（メタデータ） (2023-02-05T08:46:15Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Gotta Go Fast When Generating Data with Score-Based Models [25.6996532735215]
  現在のスコアベースモデルは、数値SDEソルバが要求するスコアネットワーク評価の数が多いため、データを非常にゆっくりと生成する。 スコアベース生成モデルに適応的なステップサイズを持つSDEソルバを1個ずつ設計する。 我々の解法は2つのスコア関数の評価しか必要とせず、ほとんどサンプルを拒否せず、高品質なサンプルを導出する。
  論文  参考訳（メタデータ） (2021-05-28T19:48:51Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• A game-theoretic approach for Generative Adversarial Networks [2.995087247817663]
  GAN(Generative Adversarial Network)は、生成モデルの一種で、正確なサンプルを作成することで知られている。 彼らの実装の主なボトルネックは、ニューラルネットワークのトレーニングが非常に難しいことだ。 本稿では,GANに対する緩和されたフォワードバックワードアルゴリズムを提案する。 ゲームの擬階写像が単調であるとき、正確な解やその近傍に収束することが証明される。
  論文  参考訳（メタデータ） (2020-03-30T17:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。