論文の概要: On Calibrating Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2302.10688v3
• Date: Sun, 29 Oct 2023 12:14:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 23:17:03.506773
• Title: On Calibrating Diffusion Probabilistic Models
• Title（参考訳）: 拡散確率モデルの校正について
• Authors: Tianyu Pang, Cheng Lu, Chao Du, Min Lin, Shuicheng Yan, Zhijie Deng
• Abstract要約: 拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
• 参考スコア（独自算出の注目度）: 78.75538484265292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, diffusion probabilistic models (DPMs) have achieved promising results in diverse generative tasks. A typical DPM framework includes a forward process that gradually diffuses the data distribution and a reverse process that recovers the data distribution from time-dependent data scores. In this work, we observe that the stochastic reverse process of data scores is a martingale, from which concentration bounds and the optional stopping theorem for data scores can be derived. Then, we discover a simple way for calibrating an arbitrary pretrained DPM, with which the score matching loss can be reduced and the lower bounds of model likelihood can consequently be increased. We provide general calibration guidelines under various model parametrizations. Our calibration method is performed only once and the resulting models can be used repeatedly for sampling. We conduct experiments on multiple datasets to empirically validate our proposal. Our code is at https://github.com/thudzj/Calibrated-DPMs.
• Abstract（参考訳）: 近年,拡散確率モデル (DPM) は様々な生成タスクにおいて有望な結果を得た。 典型的なDPMフレームワークは、データ分散を徐々に拡散するフォワードプロセスと、時間依存のデータスコアからデータ分散を回復するリバースプロセスを含む。 本研究では,データスコアの確率的逆過程がマルティンゲールであり,そこからデータスコアに対する濃度境界と任意の停止定理が導出できることを示す。 そして、任意の事前学習DPMを校正する簡単な方法を見つけ、その結果、スコアマッチング損失を低減し、その結果、モデル確率の低い境界を増大させることができる。 各種モデルパラメトリゼーションの一般的な校正ガイドラインを提供する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。 複数のデータセットで実験を行い、提案を実証的に検証する。 私たちのコードはhttps://github.com/thudzj/Calibrated-DPMsにあります。

関連論文リスト

• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• Contractive Diffusion Probabilistic Models [5.217870815854702]
  拡散確率モデル (DPM) は生成的モデリングにおいて有望な手法である。 我々は、DPMの設計における後方サンプリングの収縮特性を新たな基準として提案し、新しいCDPM(Contractive DPM)のクラスを導出する。 以上の結果から,CDPMは単純な変換で事前学習したDPMの重みを活用でき,再学習は不要であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T21:51:51Z)
• AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
  既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。 本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。 本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。 次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
  論文  参考訳（メタデータ） (2023-07-20T09:06:21Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
  その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。 また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。 これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。