論文の概要: Independent projections of diffusions: Gradient flows for variational
inference and optimal mean field approximations
- arxiv url: http://arxiv.org/abs/2309.13332v1
- Date: Sat, 23 Sep 2023 10:33:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 20:31:35.248894
- Title: Independent projections of diffusions: Gradient flows for variational
inference and optimal mean field approximations
- Title（参考訳）: 拡散の独立射影:変分推論のための勾配流れと最適平均場近似
- Authors: Daniel Lacker
- Abstract要約: 本稿では,2つの自然条件に対して最適である,独立射影(emphindependent projection)という構成を提案する。
まず、元の拡散が不変測度$rho_*$で可逆であるとき、独立射影は積測度空間に制約された相対エントロピー$H(cdot,|,rho_*)$に対するワッサーシュタイン勾配フローとして機能する。
第2に、独立な座標を持つ全てのプロセスの中で、独立射影は、元の拡散に対する経路空間エントロピーの最も遅い成長速度を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What is the optimal way to approximate a high-dimensional diffusion process
by one in which the coordinates are independent? This paper presents a
construction, called the \emph{independent projection}, which is optimal for
two natural criteria. First, when the original diffusion is reversible with
invariant measure $\rho_*$, the independent projection serves as the
Wasserstein gradient flow for the relative entropy $H(\cdot\,|\,\rho_*)$
constrained to the space of product measures. This is related to recent
Langevin-based sampling schemes proposed in the statistical literature on mean
field variational inference. In addition, we provide both qualitative and
quantitative results on the long-time convergence of the independent
projection, with quantitative results in the log-concave case derived via a new
variant of the logarithmic Sobolev inequality. Second, among all processes with
independent coordinates, the independent projection is shown to exhibit the
slowest growth rate of path-space entropy relative to the original diffusion.
This sheds new light on the classical McKean-Vlasov equation and recent
variants proposed for non-exchangeable systems, which can be viewed as special
cases of the independent projection.
- Abstract（参考訳）: 座標が独立な高次元拡散過程を近似する最適な方法は何ですか。
本稿では,2つの自然条件に最適な構造である \emph{independent projection} を提案する。
第一に、元の拡散が不変測度 $\rho_*$ で可逆であるとき、独立射影は、積測度の空間に制約された相対エントロピー $h(\cdot\,|\,\rho_*)$ のワッサーシュタイン勾配フローとして機能する。
これは、平均場変動推定に関する統計文献で提案されている最近のランゲヴィンに基づくサンプリングスキームに関連している。
さらに、独立射影の長期収束に関する定性的および定量的な結果と、対数的ソボレフ不等式の新しい変種によって導かれる対数凹の場合の定量的結果の両方を提供する。
第二に、独立な座標を持つ全てのプロセスの中で、独立射影は、元の拡散に対する経路空間エントロピーの最も遅い成長速度を示す。
これは、古典的マクキーン・ヴラソフ方程式と、独立射影の特別な場合と見なすことができる非交換可能系に対して提案された最近の変種に新しい光を当てる。
関連論文リスト
- Quasi-Bayes meets Vines [2.3124143670964448]
我々は、スクラーの定理を用いて、準ベイズ予想を高次元に拡張する別の方法を提案する。
提案した準ベイジアンVine (QB-Vine) は完全に非パラメトリックな密度推定器であることを示す。
論文 参考訳（メタデータ） (2024-06-18T16:31:02Z) - Space-Time Diffusion Bridge [0.4527270266697462]
実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。
時空間次元にまたがる時空間混合戦略を用いる。
数値実験による時空拡散法の有効性を検証した。
論文 参考訳（メタデータ） (2024-02-13T23:26:11Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Sampling and estimation on manifolds using the Langevin diffusion [45.57801520690309]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳（メタデータ） (2023-12-22T18:01:11Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳（メタデータ） (2023-07-31T06:11:57Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - Exponential ergodicity of mirror-Langevin diffusions [16.012656579770827]
我々はNewton-Langevin拡散と呼ばれる拡散のクラスを提案し、それらが指数関数的に定常性に収束することを証明した。
本研究では, 内部点法に着想を得た戦略を用いて, 凸体上の均一分布からのサンプリング問題に適用する。
論文 参考訳（メタデータ） (2020-05-19T18:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。