論文の概要: Gotta Go Fast When Generating Data with Score-Based Models

• arxiv url: http://arxiv.org/abs/2105.14080v1
• Date: Fri, 28 May 2021 19:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:51:15.414453
• Title: Gotta Go Fast When Generating Data with Score-Based Models
• Title（参考訳）: Gottaがスコアベースモデルでデータ生成を高速化
• Authors: Alexia Jolicoeur-Martineau, Ke Li, R\'emi Pich\'e-Taillefer, Tal Kachman, Ioannis Mitliagkas
• Abstract要約: 現在のスコアベースモデルは、数値SDEソルバが要求するスコアネットワーク評価の数が多いため、データを非常にゆっくりと生成する。 スコアベース生成モデルに適応的なステップサイズを持つSDEソルバを1個ずつ設計する。 我々の解法は2つのスコア関数の評価しか必要とせず、ほとんどサンプルを拒否せず、高品質なサンプルを導出する。
• 参考スコア（独自算出の注目度）: 25.6996532735215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based (denoising diffusion) generative models have recently gained a lot of success in generating realistic and diverse data. These approaches define a forward diffusion process for transforming data to noise and generate data by reversing it (thereby going from noise to data). Unfortunately, current score-based models generate data very slowly due to the sheer number of score network evaluations required by numerical SDE solvers. In this work, we aim to accelerate this process by devising a more efficient SDE solver. Existing approaches rely on the Euler-Maruyama (EM) solver, which uses a fixed step size. We found that naively replacing it with other SDE solvers fares poorly - they either result in low-quality samples or become slower than EM. To get around this issue, we carefully devise an SDE solver with adaptive step sizes tailored to score-based generative models piece by piece. Our solver requires only two score function evaluations, rarely rejects samples, and leads to high-quality samples. Our approach generates data 2 to 10 times faster than EM while achieving better or equal sample quality. For high-resolution images, our method leads to significantly higher quality samples than all other methods tested. Our SDE solver has the benefit of requiring no step size tuning.
• Abstract（参考訳）: スコアベースの生成モデルは、最近、リアルで多様なデータを生成することに成功しています。 これらのアプローチは、データをノイズに変換し、(ノイズからデータへ)反転することでデータを生成するための前方拡散プロセスを定義する。 残念ながら、現在のスコアベースモデルは、数値SDEソルバが要求するスコアネットワーク評価の数が多いため、データを非常にゆっくりと生成する。 本研究では,より効率的なSDEソルバの開発により,このプロセスの高速化を目指す。 既存のアプローチは、固定ステップサイズを使用するEuler-Maruyama (EM)ソルバに依存している。 その結果,SDEを他のSDEソルバに代用すると,低品質のサンプルが得られるか,EMよりも遅くなることがわかった。 この問題に対処するために、スコアベース生成モデルに適した適応的なステップサイズを持つSDEソルバを慎重に考案する。 我々の解法は2つのスコア関数の評価しか必要とせず、ほとんどサンプルを拒絶せず、高品質なサンプルにつながる。 提案手法はemより2倍から10倍高速で,良好なサンプル品質を実現している。 高精細画像の場合,本手法はテスト対象の他の方法よりもはるかに高品質なサンプルが得られる。 我々のSDEソルバはステップサイズのチューニングを必要としないという利点がある。

関連論文リスト

• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Score Mismatching for Generative Modeling [4.413162309652114]
  そこで我々は,一段階サンプリングを用いた新しいスコアベースモデルを提案する。 我々は、スコアネットワークから逆転した勾配で全ての時間ステップを圧縮するようにスタンドアロンのジェネレータを訓練する。 生成器に有意義な勾配を与えるため、スコアネットワークは実データ分布を同時にマッチングし、偽データ分布を誤マッチするように訓練される。
  論文  参考訳（メタデータ） (2023-09-20T03:47:12Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• GENIE: Higher-Order Denoising Diffusion Solvers [19.79516951865819]
  拡散モデル(DDM)は、生成モデルの強力なクラスとして登場した。 前方拡散プロセスはデータをゆるやかに摂動させ、深層モデルは徐々に妄想を覚える。 学習モデルによって定義される微分方程式(DE)を解くには、高品質な生成のために遅い反復解法が必要である。 本稿では,合成を著しく高速化する新しい高次解法を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:18:28Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。