論文の概要: Restart Sampling for Improving Generative Processes

• arxiv url: http://arxiv.org/abs/2306.14878v2
• Date: Wed, 1 Nov 2023 04:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 17:13:19.479999
• Title: Restart Sampling for Improving Generative Processes
• Title（参考訳）: 生成プロセス改善のための再起動サンプリング
• Authors: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola
• Abstract要約: ODEベースのサンプリングは高速であるが,SDEベースのサンプリングはサンプリング時間の増加を犠牲にして高い品質のサンプルを提供する。 本稿では,離散化誤差と収縮のバランスを改善するために,Restartと呼ばれる新しいサンプリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 30.745245429072735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet $64 \times 64$. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION $512 \times 512$. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling
• Abstract（参考訳）: 拡散モデルのような微分方程式の解法を含む生成過程は、しばしば速度と品質のバランスをとる必要がある。 ODEベースのサンプリングは高速であるが,SDEベースのサンプリングはサンプリング時間の増加を犠牲にして高い品質のサンプルを提供する。 ODE-samplerはより小さな離散化エラーを伴い、SDE契約の確率性はエラーを蓄積する。 そこで本研究では,離散化誤差と縮小のバランスを改善するために,リスタートと呼ばれる新しいサンプリングアルゴリズムを提案する。 サンプリング方法は、追加の前方ステップに実質的なノイズを付加することと、後方ODEを厳密に追従することとを交互に行う。 経験的に、Restart は以前の SDE と ODE のサンプルをスピードと精度で上回っている。 再起動は、以前のベストsde結果を上回るだけでなく、cifar-10 / imagenetのサンプリング速度を10倍/2倍に加速する。 さらに、同じサンプリング時間内でODEサンプルよりもはるかに優れたサンプル品質が得られる。 さらに、laion 512 \times 512$で事前トレーニングされた大規模テキストから画像への安定拡散モデルでは、テキスト画像のアライメント/ビジュアル品質と多様性のバランスが向上している。 コードはhttps://github.com/Newbeeer/diffusion_restart_samplingで入手できる。

関連論文リスト

• Fast ODE-based Sampling for Diffusion Models in Around 5 Steps [17.500594480727617]
  本稿では, 高速サンプリングのための平均方向を直接学習することにより, トランケーション誤差を解消する近似平均方向解法(AMED-r)を提案する。 本手法は,既存の ODE ベースのサンプルを改良するためのプラグインとして容易に利用できる。
  論文  参考訳（メタデータ） (2023-11-30T13:07:19Z)
• Sampler Scheduler for Diffusion Models [0.0]
  拡散モデリング(DM)は高品質な生成性能を有する。 現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。 そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
  論文  参考訳（メタデータ） (2023-11-12T13:35:25Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis [26.907301901503835]
  拡散確率モデル (DDPM) は強力な生成モデルの一種である。 DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。 本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
  論文  参考訳（メタデータ） (2023-04-22T16:58:47Z)
• Preconditioned Score-based Generative Models [49.88840603798831]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models [45.612477740555406]
  DPM-r++はDPMのガイドサンプリングのための高次解法である。 DPM-r++は15から20ステップで高品質なサンプルを生成できることを示す。
  論文  参考訳（メタデータ） (2022-11-02T13:14:30Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。