論文の概要: On the Relation Between Linear Diffusion and Power Iteration

• arxiv url: http://arxiv.org/abs/2410.14730v1
• Date: Wed, 16 Oct 2024 07:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:29.959094
• Title: On the Relation Between Linear Diffusion and Power Iteration
• Title（参考訳）: 線形拡散とパワーイテレーションの関係について
• Authors: Dana Weitzner, Mauricio Delbracio, Peyman Milanfar, Raja Giryes,
• Abstract要約: 相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
• 参考スコア（独自算出の注目度）: 42.158089783398616
• License:
• Abstract: Recently, diffusion models have gained popularity due to their impressive generative abilities. These models learn the implicit distribution given by the training dataset, and sample new data by transforming random noise through the reverse process, which can be thought of as gradual denoising. In this work, we examine the generation process as a ``correlation machine'', where random noise is repeatedly enhanced in correlation with the implicit given distribution. To this end, we explore the linear case, where the optimal denoiser in the MSE sense is known to be the PCA projection. This enables us to connect the theory of diffusion models to the spiked covariance model, where the dependence of the denoiser on the noise level and the amount of training data can be expressed analytically, in the rank-1 case. In a series of numerical experiments, we extend this result to general low rank data, and show that low frequencies emerge earlier in the generation process, where the denoising basis vectors are more aligned to the true data with a rate depending on their eigenvalues. This model allows us to show that the linear diffusion model converges in mean to the leading eigenvector of the underlying data, similarly to the prevalent power iteration method. Finally, we empirically demonstrate the applicability of our findings beyond the linear case, in the Jacobians of a deep, non-linear denoiser, used in general image generation tasks.
• Abstract（参考訳）: 近年、拡散モデルが顕著な生成能力によって人気を博している。 これらのモデルは、トレーニングデータセットが与える暗黙の分布を学習し、逆プロセスを通じてランダムノイズを変換して新しいデータをサンプリングする。 本研究では,その生成過程を 'correlation machine'' として検討し,ランダムノイズを暗黙的な分布と相関して繰り返し強化する。 この目的のために, MSE 感覚の最適デノイザが PCA 投影であることが知られている線形ケースを探索する。 これにより拡散モデルの理論をスパイク共分散モデルに結びつけることができ、ノイズレベルとトレーニングデータの量はランク1の場合、解析的に表現できる。 一連の数値実験において、この結果を一般的な低ランクデータに拡張し、生成過程の早い段階で低周波数が出現することを示し、そこでは、デノナイジング基底ベクトルがその固有値に依存する速度で真のデータとより整合している。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。 最後に,一般画像生成タスクで使用される深い非線形デノイザーのヤコビアンにおいて,線形の場合を超えて,我々の研究結果の適用性を実証的に実証した。

関連論文リスト

• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• To smooth a cloud or to pin it down: Guarantees and Insights on Score Matching in Denoising Diffusion Models [20.315727650065007]
  微分拡散モデル(Denoising diffusion model)は、最近多くの領域で最先端の結果を得た生成モデルのクラスである。 我々は、F"ollmer flow"に似た既知の接続を利用して、F"ollmer drift"の確立されたニューラルネットワーク近似結果を拡張し、拡散モデルとサンプリング器をデノナイズする。
  論文  参考訳（メタデータ） (2023-05-16T16:56:19Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)
• PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior [103.00403682863427]
  条件拡散モデルの効率を改善するために, PreGrad を提案する。 PriorGradはデータとパラメータの効率を向上し、品質を向上する。
  論文  参考訳（メタデータ） (2021-06-11T14:04:03Z)
• A Variational Perspective on Diffusion-Based Generative Models and Score Matching [8.93483643820767]
  連続時間生成拡散の確率推定のための変分フレームワークを導出する。 本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
  論文  参考訳（メタデータ） (2021-06-05T05:50:36Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。