論文の概要: Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance
- arxiv url: http://arxiv.org/abs/2302.11024v7
- Date: Wed, 11 Sep 2024 01:45:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:28:06.300816
- Title: Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance
- Title（参考訳）: サンプリングのための勾配流:平均場モデル、ガウス近似およびアフィン不変性
- Authors: Yifan Chen, Daniel Zhengyu Huang, Jiaoyang Huang, Sebastian Reich, Andrew M. Stuart,
- Abstract要約: 確率密度空間とガウス空間の両方における勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
- 参考スコア（独自算出の注目度）: 10.153270126742369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampling a probability distribution with an unknown normalization constant is a fundamental problem in computational science and engineering. This task may be cast as an optimization problem over all probability measures, and an initial distribution can be evolved to the desired minimizer dynamically via gradient flows. Mean-field models, whose law is governed by the gradient flow in the space of probability measures, may also be identified; particle approximations of these mean-field models form the basis of algorithms. The gradient flow approach is also the basis of algorithms for variational inference, in which the optimization is performed over a parameterized family of probability distributions such as Gaussians, and the underlying gradient flow is restricted to the parameterized family. By choosing different energy functionals and metrics for the gradient flow, different algorithms with different convergence properties arise. In this paper, we concentrate on the Kullback-Leibler divergence after showing that, up to scaling, it has the unique property that the gradient flows resulting from this choice of energy do not depend on the normalization constant. For the metrics, we focus on variants of the Fisher-Rao, Wasserstein, and Stein metrics; we introduce the affine invariance property for gradient flows, and their corresponding mean-field models, determine whether a given metric leads to affine invariance, and modify it to make it affine invariant if it does not. We study the resulting gradient flows in both probability density space and Gaussian space. The flow in the Gaussian space may be understood as a Gaussian approximation of the flow. We demonstrate that the Gaussian approximation based on the metric and through moment closure coincide, establish connections between them, and study their long-time convergence properties showing the advantages of affine invariance.
- Abstract（参考訳）: 未知の正規化定数で確率分布をサンプリングすることは、計算科学と工学の基本的な問題である。
このタスクは全ての確率測度に対する最適化問題とみなすことができ、初期分布は勾配流を介して動的に所望の最小値へと発展させることができる。
平均場モデルは、確率測度の空間における勾配流によって法則が支配されるが、これらの平均場モデルの粒子近似はアルゴリズムの基盤を形成する。
勾配流のアプローチは変分推論のアルゴリズムの基礎にもなり、ガウスのような確率分布のパラメータ化された族上で最適化が行われ、基礎となる勾配流はパラメータ化された族に制限される。
勾配流に対して異なるエネルギー汎関数とメトリクスを選択することにより、異なる収束特性を持つ異なるアルゴリズムが生じる。
本稿では,このエネルギー選択から生じる勾配流が正規化定数に依存しないという特異な性質を持つことを示した上で,Kulback-Leiblerの発散に着目する。
ここでは勾配流に対するアフィン不変性とその対応する平均場モデルを導入し、与えられた計量がアフィン不変性につながるかどうかを判断し、もしそうでなければそれをアフィン不変性に修正する。
確率密度空間とガウス空間の両方で得られる勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
計量とモーメント閉包に基づくガウス近似が一致することを実証し、それら間の接続を確立し、アフィン不変性の利点を示す長期収束特性について検討する。
関連論文リスト
- Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem [0.0]
変分推論問題におけるエビデンス下界(ELBO)の勾配を近似する解析解を提案する。
提案手法は線形計算複雑性とともに精度と収束率を示す。
論文 参考訳（メタデータ） (2024-04-16T13:19:46Z) - Bridging the Gap Between Variational Inference and Wasserstein Gradient
Flows [6.452626686361619]
我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。
ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。
また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
論文 参考訳（メタデータ） (2023-10-31T00:10:19Z) - Sampling via Gradient Flows in the Space of Probability Measures [10.892894776497165]
近年の研究では,確率測度空間における勾配流を考慮したアルゴリズムが,アルゴリズム開発のための新たな道を開くことが示されている。
本稿では,これらの勾配流の設計成分を精査することにより,このサンプリング手法に3つの貢献を行う。
論文 参考訳（メタデータ） (2023-10-05T15:20:35Z) - Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳（メタデータ） (2023-07-25T18:47:53Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Variational Gaussian filtering via Wasserstein gradient flows [6.023171219551961]
ガウスとガウスの混合フィルタを近似する新しい手法を提案する。
本手法は勾配流表現による変分近似に依存する。
論文 参考訳（メタデータ） (2023-03-11T12:22:35Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。