論文の概要: Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows

• arxiv url: http://arxiv.org/abs/2310.20090v1
• Date: Tue, 31 Oct 2023 00:10:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:57:23.760860
• Title: Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
• Title（参考訳）: 変分推論とワッサーシュタイン勾配流の間のギャップを埋める
• Authors: Mingxuan Yi, Song Liu
• Abstract要約: 我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。 ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
• 参考スコア（独自算出の注目度）: 6.452626686361619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference is a technique that approximates a target distribution by optimizing within the parameter space of variational families. On the other hand, Wasserstein gradient flows describe optimization within the space of probability measures where they do not necessarily admit a parametric density function. In this paper, we bridge the gap between these two methods. We demonstrate that, under certain conditions, the Bures-Wasserstein gradient flow can be recast as the Euclidean gradient flow where its forward Euler scheme is the standard black-box variational inference algorithm. Specifically, the vector field of the gradient flow is generated via the path-derivative gradient estimator. We also offer an alternative perspective on the path-derivative gradient, framing it as a distillation procedure to the Wasserstein gradient flow. Distillations can be extended to encompass $f$-divergences and non-Gaussian variational families. This extension yields a new gradient estimator for $f$-divergences, readily implementable using contemporary machine learning libraries like PyTorch or TensorFlow.
• Abstract（参考訳）: 変分推論は、変分族のパラメータ空間内で最適化することで対象分布を近似する手法である。 一方、ワッサーシュタイン勾配流は、必ずしもパラメトリック密度関数を含まない確率測度の空間内での最適化を記述する。 本稿では,これら2つの手法のギャップを橋渡しする。 特定の条件下では、Bles-Wasserstein勾配流はユークリッド勾配流として、その前方ユーラースキームが標準ブラックボックス変分推論アルゴリズムであることを示す。 具体的には、経路導出勾配推定器を介して勾配流れのベクトル場を生成する。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。 蒸留は$f$-divergencesと非ガウシアン変分族を含むように拡張できる。 この拡張は、PyTorchやTensorFlowといった現代の機械学習ライブラリを使って容易に実装可能な、$f$-divergences用の新しい勾配推定器を提供する。

関連論文リスト

• Adversarial flows: A gradient flow characterization of adversarial attacks [1.8749305679160366]
  ニューラルネットワークに対する敵攻撃を行う一般的な方法は、いわゆる高速勾配符号法である。 我々は、離散化と関連する勾配流の収束性を示す。
  論文  参考訳（メタデータ） (2024-06-08T07:05:26Z)
• Differentially Private Gradient Flow based on the Sliced Wasserstein Distance [59.1056830438845]
  本稿では,確率測度空間の勾配流に基づく新しい微分プライベートな生成モデリング手法を提案する。 実験により,提案モデルが低プライバシー予算で高忠実度データを生成可能であることが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:47:30Z)
• Particle-based Variational Inference with Generalized Wasserstein Gradient Flow [32.37056212527921]
  本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。 GWGが強い収束保証を示すことを示す。 また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
  論文  参考訳（メタデータ） (2023-10-25T10:05:42Z)
• Sampling via Gradient Flows in the Space of Probability Measures [10.892894776497165]
  近年の研究では,確率測度空間における勾配流を考慮したアルゴリズムが,アルゴリズム開発のための新たな道を開くことが示されている。 本稿では,これらの勾配流の設計成分を精査することにより,このサンプリング手法に3つの貢献を行う。
  論文  参考訳（メタデータ） (2023-10-05T15:20:35Z)
• Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance [10.153270126742369]
  確率密度空間とガウス空間の両方における勾配流について検討する。 ガウス空間のフローは、フローのガウス近似として理解することができる。
  論文  参考訳（メタデータ） (2023-02-21T21:44:08Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。