論文の概要: Contractive Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2401.13115v3
• Date: Sat, 12 Oct 2024 03:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:01:42.150390
• Title: Contractive Diffusion Probabilistic Models
• Title（参考訳）: 収縮拡散確率モデル
• Authors: Wenpin Tang, Hanyang Zhao,
• Abstract要約: 拡散確率モデル (DPM) は生成的モデリングにおいて有望な手法である。 我々は、DPMの設計における後方サンプリングの収縮特性を新たな基準として提案し、新しいCDPM(Contractive DPM)のクラスを導出する。 以上の結果から,CDPMは単純な変換で事前学習したDPMの重みを活用でき,再学習は不要であることが示唆された。
• 参考スコア（独自算出の注目度）: 5.217870815854702
• License:
• Abstract: Diffusion probabilistic models (DPMs) have emerged as a promising technique in generative modeling. The success of DPMs relies on two ingredients: time reversal of diffusion processes and score matching. In view of possibly unguaranteed score matching, we propose a new criterion -- the contraction property of backward sampling in the design of DPMs, leading to a novel class of contractive DPMs (CDPMs). Our key insight is that, the contraction property can provably narrow score matching errors and discretization errors, thus our proposed CDPMs are robust to both sources of error. For practical use, we show that CDPM can leverage weights of pretrained DPMs by a simple transformation, and does not need retraining. We corroborated our approach by experiments on synthetic 1-dim examples, Swiss Roll, MNIST, CIFAR-10 32$\times$32 and AFHQ 64$\times$64 dataset. Notably, CDPM steadily improves the performance of baseline score-based diffusion models.
• Abstract（参考訳）: 拡散確率モデル (DPM) は生成的モデリングにおいて有望な手法である。 DPMの成功は、拡散過程の時間反転とスコアマッチングという2つの要素に依存している。 そこで本研究では,DPMの設計における後方サンプリングの収縮特性を新たな基準として提案し,新たなDPM(Contractive DPMs)のクラスを創出する。 我々の重要な洞察は、縮退特性は、確実に一致する誤差と離散化誤差を狭めることができるため、提案したCDPMは両方の誤差源に対して堅牢であるということである。 実用上,CDPMは単純な変換で事前学習したDPMの重みを活用でき,再学習は不要である。 我々は、Swiss Roll、MNIST、CIFAR-10 32$\times$32、AFHQ 64$\times$64といった合成1次元のサンプルの実験によって、我々のアプローチを裏付けた。 特に、CDPMは、ベースラインスコアベースの拡散モデルの性能を着実に改善する。

関連論文リスト

• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
  本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。 提案手法は,事前学習した拡散モデルに容易に適用できる。 初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
  論文  参考訳（メタデータ） (2023-08-23T06:22:02Z)
• DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
  DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。 約10の関数評価で高品質なサンプルを生成することができる。 実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
  論文  参考訳（メタデータ） (2023-07-21T02:28:54Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models [92.43617471204963]
  拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。 我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。 そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
  本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。 DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。 DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
  論文  参考訳（メタデータ） (2022-04-27T03:44:18Z)
• Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models [39.11468968340014]
  拡散確率モデル(DPM)は、強力な生成モデルのクラスを表す。 分散とKLの発散の分析形式を推定する学習自由推論フレームワークであるAnalytic-DPMを提案する。 最適分散の上下境界を導出し、より良い結果を得るために推定値をクリップする。
  論文  参考訳（メタデータ） (2022-01-17T16:28:12Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。