論文の概要: What's the score? Automated Denoising Score Matching for Nonlinear Diffusions

• arxiv url: http://arxiv.org/abs/2407.07998v1
• Date: Wed, 10 Jul 2024 19:02:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 21:39:04.205682
• Title: What's the score? Automated Denoising Score Matching for Nonlinear Diffusions
• Title（参考訳）: スコアとは何か?非線形拡散に対するスコアマッチングの自動生成
• Authors: Raghav Singhal, Mark Goldstein, Rajesh Ranganath,
• Abstract要約: 楽譜の学習による拡散過程の逆転は拡散に基づく生成モデルの中心を形成する。 そこで我々は,ローカルDSM(Local-DSM)と呼ばれる,抽出可能なスコアマッチングのファミリーを導入する。 本稿では,Taylor拡張を用いた局所DSM溶接により,非線形拡散プロセスによる自動トレーニングとスコア推定が可能となることを示す。
• 参考スコア（独自算出の注目度）: 25.062104976775448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reversing a diffusion process by learning its score forms the heart of diffusion-based generative modeling and for estimating properties of scientific systems. The diffusion processes that are tractable center on linear processes with a Gaussian stationary distribution. This limits the kinds of models that can be built to those that target a Gaussian prior or more generally limits the kinds of problems that can be generically solved to those that have conditionally linear score functions. In this work, we introduce a family of tractable denoising score matching objectives, called local-DSM, built using local increments of the diffusion process. We show how local-DSM melded with Taylor expansions enables automated training and score estimation with nonlinear diffusion processes. To demonstrate these ideas, we use automated-DSM to train generative models using non-Gaussian priors on challenging low dimensional distributions and the CIFAR10 image dataset. Additionally, we use the automated-DSM to learn the scores for nonlinear processes studied in statistical physics.
• Abstract（参考訳）: 拡散過程の逆転は、拡散に基づく生成モデルの中心を形成し、科学的システムの特性を推定する。 ガウスの定常分布を持つ線形過程の中心を引くことができる拡散過程。 これにより、ガウスの事前あるいはより一般に対象とするモデルに構築できるモデルの種類を制限し、条件付き線形スコア関数を持つモデルに汎用的に解決できる問題の種類を制限できる。 本研究では,拡散過程の局所的増分を用いて構築した局所DSMと呼ばれる,抽出可能なスコアマッチング対象のファミリーを紹介する。 本稿では,Taylor拡張を用いた局所DSM溶接により,非線形拡散プロセスによる自動トレーニングとスコア推定が可能となることを示す。 これらのアイデアを実証するために、我々は自動DSMを用いて、低次元分布とCIFAR10画像データセットに挑戦する非ガウス的先行モデルを用いて生成モデルを訓練する。 さらに、統計物理学で研究された非線形過程のスコアを自動DSMを用いて学習する。

関連論文リスト

• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks [20.362912591032636]
  本稿では,GANをカーネルベース判別器で訓練するための勾配降下度(GDA)の局所的ダイナミクスについて検討する。 システムがいつ収束するか、振動するか、あるいは分岐するかを示す相転移を示す。
  論文  参考訳（メタデータ） (2023-05-14T23:23:08Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Distilling Model Failures as Directions in Latent Space [87.30726685335098]
  本稿では,モデルの故障モードを自動的に抽出するスケーラブルな方法を提案する。 線形分類器を用いて一貫したエラーパターンを識別し、これらの障害モードを特徴空間内の方向として自然な表現を誘導する。 このフレームワークにより、トレーニングデータセット内の課題のあるサブポピュレーションを発見し、自動的にキャプションし、これらのサブポピュレーションにおけるモデルのパフォーマンスを改善することができることを示す。
  論文  参考訳（メタデータ） (2022-06-29T16:35:24Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。