論文の概要: DPVI: A Dynamic-Weight Particle-Based Variational Inference Framework
- arxiv url: http://arxiv.org/abs/2112.00945v1
- Date: Thu, 2 Dec 2021 02:50:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 16:58:46.379147
- Title: DPVI: A Dynamic-Weight Particle-Based Variational Inference Framework
- Title（参考訳）: DPVI:動的重粒子に基づく変分推論フレームワーク
- Authors: Chao Zhang, Zhijian Li, Hui Qian, Xin Du
- Abstract要約: 本研究では, 動的粒子に基づく変分推論(DPVI)フレームワークの開発を行った。
一般のフレームワークで異なる有限粒子近似を用いることで、いくつかの効率的なDPVIアルゴリズムを導出する。
- 参考スコア（独自算出の注目度）: 20.9197547258307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recently developed Particle-based Variational Inference (ParVI) methods
drive the empirical distribution of a set of \emph{fixed-weight} particles
towards a given target distribution $\pi$ by iteratively updating particles'
positions. However, the fixed weight restriction greatly confines the empirical
distribution's approximation ability, especially when the particle number is
limited. In this paper, we propose to dynamically adjust particles' weights
according to a Fisher-Rao reaction flow. We develop a general Dynamic-weight
Particle-based Variational Inference (DPVI) framework according to a novel
continuous composite flow, which evolves the positions and weights of particles
simultaneously. We show that the mean-field limit of our composite flow is
actually a Wasserstein-Fisher-Rao gradient flow of certain dissimilarity
functional $\mathcal{F}$, which leads to a faster decrease of $\mathcal{F}$
than the Wasserstein gradient flow underlying existing fixed-weight ParVIs. By
using different finite-particle approximations in our general framework, we
derive several efficient DPVI algorithms. The empirical results demonstrate the
superiority of our derived DPVI algorithms over their fixed-weight
counterparts.
- Abstract（参考訳）: 最近開発された particle-based variational inference (parvi) 法は, 粒子の位置を反復的に更新することによって, 与えられた対象分布に対して, \emph{fixed-weight} 粒子の集合を経験的分布に導く。
しかし、固定重量制限は、特に粒子数が制限された場合、経験的分布の近似能力を大幅に制限する。
本稿では,Fisher-Rao反応の流れに応じて粒子の重量を動的に調整することを提案する。
本研究では, 粒子の位置と重みを同時に進化させる新しい連続複合流れに基づき, 動的粒子に基づく変分推論(DPVI)フレームワークを開発した。
合成フローの平均場限界は、ある相似性関数 $\mathcal{F}$ の Wasserstein-Fisher-Rao 勾配流であり、既存の固定重パーVIs の基盤となる Wasserstein 勾配流よりもより早く $\mathcal{F}$ が減少することを示す。
一般のフレームワークで異なる有限粒子近似を用いることで、いくつかの効率的なDPVIアルゴリズムを導出する。
実験結果から得られたDPVIアルゴリズムは固定ウェイトアルゴリズムよりも優れていることが示された。
関連論文リスト
- Improved Particle Approximation Error for Mean Field Neural Networks [9.817855108627452]
MFLD(Mean-field Langevin dynamics)は、確率分布の空間上で定義されるエントロピー規則化された非線形凸関数を最小化する。
最近の研究は、MFLDにおけるカオスの時間的一様伝播を実証している。
粒子近似誤差における対数的ソボレフ不等式(LSI)定数の依存性を改善する。
論文 参考訳（メタデータ） (2024-05-24T17:59:06Z) - Particle-based Variational Inference with Generalized Wasserstein
Gradient Flow [32.37056212527921]
本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。
GWGが強い収束保証を示すことを示す。
また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
論文 参考訳（メタデータ） (2023-10-25T10:05:42Z) - Posterior Sampling Based on Gradient Flows of the MMD with Negative Distance Kernel [2.199065293049186]
後方サンプリングと条件生成モデリングのための負距離カーネルによる最大平均誤差(MMD)の条件フロー。
我々は、基底真実と離散的なワッサーシュタイン勾配流を用いた観測の連成分布を近似した。
論文 参考訳（メタデータ） (2023-10-04T11:40:02Z) - Minimizing $f$-Divergences by Interpolating Velocity Fields [6.8979561422924185]
Wasserstein Gradient Flowは、ターゲットと粒子の分布間の$f$-divergenceを最小限に抑える経路に沿って粒子を動かすことができる。
粒子を移動させるためには、これらの2つの分布間の密度比関数から導かれる対応する速度場を計算する必要がある。
論文 参考訳（メタデータ） (2023-05-24T21:23:58Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-10-24T16:54:18Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳（メタデータ） (2022-07-11T08:50:19Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - Unbalanced Sobolev Descent [31.777218621726284]
非平衡ソボレフ蛍光(USD)は、高次元の音源分布を、必ずしも同じ質量を持つとは限らないターゲット分布へ輸送する粒子降下アルゴリズムである。
USDは、ソボレフ・フィッシャー差動の証人関数の流れに沿って粒子を輸送し(対流ステップ)、この証人関数に関して粒子の質量を再考する(反応ステップ)。
本稿では,USD が従来の粒子降下アルゴリズムよりも高速に質量を保存・保存して分布を輸送する合成例を示す。
論文 参考訳（メタデータ） (2020-09-29T16:43:38Z) - Fast Gravitational Approach for Rigid Point Set Registration with
Ordinary Differential Equations [79.71184760864507]
本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。
FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。
従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
論文 参考訳（メタデータ） (2020-09-28T15:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。