論文の概要: Interpreting diffusion score matching using normalizing flow

• arxiv url: http://arxiv.org/abs/2107.10072v1
• Date: Wed, 21 Jul 2021 13:27:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 14:23:01.656059
• Title: Interpreting diffusion score matching using normalizing flow
• Title（参考訳）: 正規化フローを用いた拡散スコアマッチングの解釈
• Authors: Wenbo Gong, Yingzhen Li
• Abstract要約: 拡散スコアマッチング (DSM) は, 正規化フローで評価された元のスコアマッチング (Stein discrepancy) と等価であることを示す。 具体的には、DSM(またはDSD)が正規化フローによって定義される変換空間で評価された元のスコアマッチング(またはスタイン差分)と等価であることを示す。
• 参考スコア（独自算出の注目度）: 22.667661526643265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scoring matching (SM), and its related counterpart, Stein discrepancy (SD) have achieved great success in model training and evaluations. However, recent research shows their limitations when dealing with certain types of distributions. One possible fix is incorporating the original score matching (or Stein discrepancy) with a diffusion matrix, which is called diffusion score matching (DSM) (or diffusion Stein discrepancy (DSD)). However, the lack of interpretation of the diffusion limits its usage within simple distributions and manually chosen matrix. In this work, we plan to fill this gap by interpreting the diffusion matrix using normalizing flows. Specifically, we theoretically prove that DSM (or DSD) is equivalent to the original score matching (or Stein discrepancy) evaluated in the transformed space defined by the normalizing flow, where the diffusion matrix is the inverse of the flow's Jacobian matrix. In addition, we also build its connection to Riemannian manifolds and further extend it to continuous flows, where the change of DSM is characterized by an ODE.
• Abstract（参考訳）: Scoring matching (SM) とそれに関連する Stein discrepancy (SD) は、モデルトレーニングと評価において大きな成功を収めた。 しかし、近年の研究は特定の種類の分布を扱う際の限界を示している。 1つの可能な修正は、元のスコアマッチング(またはスタインの差分)を拡散行列に組み込むことであり、これは拡散スコアマッチング(DSM)と呼ばれる(あるいは拡散スタインの差分(DSD)と呼ばれる)。 しかし、拡散の解釈の欠如は、単純な分布と手動で選択された行列内での使用を制限する。 本研究では,拡散行列を正規化フローを用いて解釈することで,このギャップを埋める計画である。 具体的には、拡散行列がフローのヤコビ行列の逆行列である正規化フローによって定義される変換空間で評価されたDSM(またはDSD)が元のスコアマッチング(またはスタイン差分)と等価であることを理論的に証明する。 さらに、リーマン多様体への接続を構築し、それをさらに連続的な流れへと拡張し、dsmの変化は ode によって特徴づけられる。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Solving Prior Distribution Mismatch in Diffusion Models via Optimal Transport [24.90486913773359]
  近年,拡散モデル(DM)に関する知識は著しく増大しているが,いくつかの理論的なギャップが残っている。 本稿では、最適輸送(OT)理論と離散初期分布を持つDMとの深い関係について検討する。 拡散終了時間が増加するにつれて、確率フローは古典モンジュ・アンペア方程式の解の勾配に指数関数的に収束する。
  論文  参考訳（メタデータ） (2024-10-17T10:54:55Z)
• Unraveling the Smoothness Properties of Diffusion Models: A Gaussian Mixture Perspective [18.331374727331077]
  拡散過程のリプシッツ連続性と第二運動量特性の理論的理解を提供する。 この結果から, 共通データ分布下での拡散過程のダイナミクスについて, より深い理論的知見が得られた。
  論文  参考訳（メタデータ） (2024-05-26T03:32:27Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
  拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。 これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。 我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。