論文の概要: Using Ornstein-Uhlenbeck Process to understand Denoising Diffusion Probabilistic Model and its Noise Schedules

• arxiv url: http://arxiv.org/abs/2311.17673v1
• Date: Wed, 29 Nov 2023 14:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 21:09:04.943986
• Title: Using Ornstein-Uhlenbeck Process to understand Denoising Diffusion Probabilistic Model and its Noise Schedules
• Title（参考訳）: ornstein-uhlenbeckプロセスを用いた拡散確率モデルと雑音の予測
• Authors: Javier E. Santos, Yen Ting Lin
• Abstract要約: 拡散確率モデルDDPMを時相連続マルコフ過程で表現できることを示す。 驚いたことに、この連続時間マルコフ過程はよく知られ、よく研究されているオルンシュタイン・オレンベック過程である。
• 参考スコア（独自算出の注目度）: 3.4235611902516263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The aim of this short note is to show that Denoising Diffusion Probabilistic Model DDPM, a non-homogeneous discrete-time Markov process, can be represented by a time-homogeneous continuous-time Markov process observed at non-uniformly sampled discrete times. Surprisingly, this continuous-time Markov process is the well-known and well-studied Ornstein-Ohlenbeck (OU) process, which was developed in 1930's for studying Brownian particles in Harmonic potentials. We establish the formal equivalence between DDPM and the OU process using its analytical solution. We further demonstrate that the design problem of the noise scheduler for non-homogeneous DDPM is equivalent to designing observation times for the OU process. We present several heuristic designs for observation times based on principled quantities such as auto-variance and Fisher Information and connect them to ad hoc noise schedules for DDPM. Interestingly, we show that the Fisher-Information-motivated schedule corresponds exactly the cosine schedule, which was developed without any theoretical foundation but is the current state-of-the-art noise schedule.
• Abstract（参考訳）: このショートノートの目的は、非均一な離散時間マルコフ過程である拡散確率モデルDDPMが、一様でない離散時間で観測される時間均一な連続時間マルコフ過程で表されることを示すことである。 驚くべきことに、この連続時間マルコフ過程は、1930年代にブラウン粒子を調和ポテンシャルで研究するために開発された、よく知られ、よく研究されたornstein-ohlenbeck(ou)過程である。 ddpm と ou プロセスとの形式的等価性は解析解を用いて確立する。 さらに, 非均一ddpm用ノイズスケジューラの設計問題は, ouプロセスにおける観測時間の設計と等価であることを示す。 本稿では,自己分散やフィッシャー情報などの原理量に基づく観測時間のヒューリスティックな設計を行い,ddpmのアドホックノイズスケジュールと接続する。 興味深いことに、Fisher-Information-motivated scheduleは、理論的基礎を持たないが現在最先端のノイズスケジュールであるcosine scheduleと正確に一致している。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Bridging discrete and continuous state spaces: Exploring the Ehrenfest process in time-continuous diffusion models [4.186575888568896]
  離散状態空間上での時間連続マルコフジャンプ過程について検討する。 エレンフェスト過程の時間反転は、時間反転するオルンシュタイン-ウレンベック過程に収束することを示す。
  論文  参考訳（メタデータ） (2024-05-06T15:12:51Z)
• Randomised benchmarking for characterizing and forecasting correlated processes [8.788375252357945]
  本研究では,時間的相関雑音の詳細を学習する手法を開発した。 特に、システム+バスの時間非依存進化演算子を学習することができる。 超伝導量子プロセッサに実装することでこれを実証する。
  論文  参考訳（メタデータ） (2023-12-11T01:55:44Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• A Continuous Time Framework for Discrete Denoising Models [43.135447812798155]
  離散データの拡散モデルを決定するための,最初の完全な連続時間フレームワークを提供する。 これは、連続時間マルコフ連鎖(CTMC)としてフォワードノイズ発生過程と対応する逆時間生成過程を定式化することによって達成される。
  論文  参考訳（メタデータ） (2022-05-30T10:37:41Z)
• Finite-Time Convergence Rates of Nonlinear Two-Time-Scale Stochastic Approximation under Markovian Noise [2.0305676256390934]
  2つの連結非線形作用素の根を探すためのシミュレーションベースアプローチである,いわゆる2時間スケール近似について検討する。 特に、マルコフプロセスによってメソッド内のデータが生成されるシナリオを考える。 演算子とマルコフ過程に関するかなり標準的な仮定の下で、この方法によって生成される平均二乗誤差の収束率を 0 に特徴づける公式を提供する。
  論文  参考訳（メタデータ） (2021-04-04T15:19:19Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。