論文の概要: A Complete Recipe for Diffusion Generative Models

• arxiv url: http://arxiv.org/abs/2303.01748v2
• Date: Wed, 11 Oct 2023 20:28:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 15:32:36.792859
• Title: A Complete Recipe for Diffusion Generative Models
• Title（参考訳）: 拡散生成モデルのための完全レシピ
• Authors: Kushagra Pandey, Stephan Mandt
• Abstract要約: 生成モデル(SGM)における前進過程の定式化のための完全なレシピを提案する。 補助変数に富んだ拡張空間内のスコアベースモデリングに依存する位相空間ランゲヴィン拡散(PSLD)を導入する。
• 参考スコア（独自算出の注目度）: 18.891215475887314
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Score-based Generative Models (SGMs) have demonstrated exceptional synthesis outcomes across various tasks. However, the current design landscape of the forward diffusion process remains largely untapped and often relies on physical heuristics or simplifying assumptions. Utilizing insights from the development of scalable Bayesian posterior samplers, we present a complete recipe for formulating forward processes in SGMs, ensuring convergence to the desired target distribution. Our approach reveals that several existing SGMs can be seen as specific manifestations of our framework. Building upon this method, we introduce Phase Space Langevin Diffusion (PSLD), which relies on score-based modeling within an augmented space enriched by auxiliary variables akin to physical phase space. Empirical results exhibit the superior sample quality and improved speed-quality trade-off of PSLD compared to various competing approaches on established image synthesis benchmarks. Remarkably, PSLD achieves sample quality akin to state-of-the-art SGMs (FID: 2.10 for unconditional CIFAR-10 generation). Lastly, we demonstrate the applicability of PSLD in conditional synthesis using pre-trained score networks, offering an appealing alternative as an SGM backbone for future advancements. Code and model checkpoints can be accessed at \url{https://github.com/mandt-lab/PSLD}.
• Abstract（参考訳）: スコアベース生成モデル(SGM)は、様々なタスクで例外的な合成結果を示す。 しかしながら、現在の前方拡散プロセスの設計の展望は、ほとんど未解決のままであり、しばしば物理的なヒューリスティックや仮定の単純化に依存している。 スケーラブルなベイズ後方サンプリング装置の開発から得られた知見を活かして,SGMにおける前方プロセスの定式化のための完全なレシピを提案し,所望の目標分布への収束を確保する。 当社のアプローチでは,既存のSGMをフレームワークの具体的徴候とみなすことが可能である。 本手法を基礎として,補助変数に富む拡張空間内のスコアベースモデリングに依存する位相空間ランジュバン拡散(psld)を導入する。 実験結果は,確立された画像合成ベンチマークにおいて,様々な競合するアプローチと比較して,PSLDのサンプル品質が向上し,速度品質のトレードオフが向上した。 注目すべきは、PSLDは最先端のSGM(FID: 2.10 for unconditional CIFAR-10 generation)に似たサンプル品質を実現することである。 最後に,事前学習したスコアネットワークを用いた条件合成におけるPSLDの適用性を実証し,今後の進歩に向けたSGMバックボーンとして魅力的な代替手段を提供する。 コードとモデルチェックポイントは \url{https://github.com/mandt-lab/PSLD} でアクセスできる。

関連論文リスト

• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models [9.47767039367222]
  スコアベース生成モデル(SGMs)は、多くの応用において最先端の性能を持つ、近年の深層生成モデルである。 2-ワッサーシュタイン距離におけるSGMの一般クラスに対する収束保証を確立し、正確なスコア推定と円滑な対数凹データ分布を仮定する。 本稿では,CIFAR-10上での非条件画像生成のために,異なる前方プロセスを用いたSGM実験を行った。
  論文  参考訳（メタデータ） (2023-11-18T07:53:22Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Preconditioned Score-based Generative Models [49.88840603798831]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• DiffuseVAE: Efficient, Controllable and High-Fidelity Generation from Low-Dimensional Latents [26.17940552906923]
  本稿では,拡散モデルフレームワーク内にVAEを統合する新しい生成フレームワークであるDiffuseVAEを紹介する。 提案モデルは高分解能サンプルを生成でき、標準ベンチマークの最先端モデルに匹敵する品質を示す。
  論文  参考訳（メタデータ） (2022-01-02T06:44:23Z)
• Score-Based Generative Modeling with Critically-Damped Langevin Diffusion [18.82116696636531]
  現在のスコアベース生成モデル(SGM)は、データを徐々にトラクタブルな分布へとゆがめる拡散過程に依存している。 我々は、現在のSGMが過度に単純化された拡散を導入し、不要に複雑な分極過程をもたらすことを論じる。 そこで我々は,CLDに基づくSGMが優れた性能を発揮することを示すために,CLD(Critical-damped Langevin diffusion)を提案する。
  論文  参考訳（メタデータ） (2021-12-14T00:01:34Z)
• Consistency Regularization for Deep Face Anti-Spoofing [69.70647782777051]
  顔認証システムでは、顔認証(FAS)が重要な役割を担っている。 このエキサイティングな観察によって、異なる視点の特徴整合性を促進することが、FASモデルを促進するための有望な方法かもしれないと推測する。 FASにおけるEPCR(Embeddding-level and Prediction-level Consistency Regularization)とEPCR(Embeddding-level Consistency Regularization)を併用した。
  論文  参考訳（メタデータ） (2021-11-24T08:03:48Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent [28.006781039853575]
  近年の機械学習の進歩を支える重要な要素は、大規模な分散メモリ環境で機械学習モデルをトレーニングする能力である。 本稿では,大規模機械学習モデルの学習に使用される一般収束手法を提案する。 我々のフレームワークは弾性弾性境界と呼ばれ、様々な分散SGD法に対する収束境界を導出することができる。
  論文  参考訳（メタデータ） (2020-01-16T16:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。