論文の概要: Particle-based Variational Inference with Generalized Wasserstein Gradient Flow

• arxiv url: http://arxiv.org/abs/2310.16516v1
• Date: Wed, 25 Oct 2023 10:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 15:35:37.738594
• Title: Particle-based Variational Inference with Generalized Wasserstein Gradient Flow
• Title（参考訳）: 一般化ワッサースタイン勾配流による粒子ベース変分推論
• Authors: Ziheng Cheng, Shiyue Zhang, Longlin Yu, Cheng Zhang
• Abstract要約: 本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。 GWGが強い収束保証を示すことを示す。 また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
• 参考スコア（独自算出の注目度）: 32.37056212527921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Particle-based variational inference methods (ParVIs) such as Stein variational gradient descent (SVGD) update the particles based on the kernelized Wasserstein gradient flow for the Kullback-Leibler (KL) divergence. However, the design of kernels is often non-trivial and can be restrictive for the flexibility of the method. Recent works show that functional gradient flow approximations with quadratic form regularization terms can improve performance. In this paper, we propose a ParVI framework, called generalized Wasserstein gradient descent (GWG), based on a generalized Wasserstein gradient flow of the KL divergence, which can be viewed as a functional gradient method with a broader class of regularizers induced by convex functions. We show that GWG exhibits strong convergence guarantees. We also provide an adaptive version that automatically chooses Wasserstein metric to accelerate convergence. In experiments, we demonstrate the effectiveness and efficiency of the proposed framework on both simulated and real data problems.
• Abstract（参考訳）: ステイン変分勾配降下(svgd)のような粒子ベースの変分推定法(parvis)は、クルバック・ライバー(kl)分岐の核化ワッサースタイン勾配流に基づいて粒子を更新する。 しかし、カーネルの設計はしばしば非自明であり、メソッドの柔軟性に制限を加えることができる。 最近の研究は、2次形式正規化項による関数勾配流近似が性能を向上させることを示している。 本稿では,KL分散の一般化ワッサースタイン勾配流に基づく一般化ワッサースタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。 GWGが強い収束保証を示すことを示す。 また,収束を加速するためにwassersteinメトリックを自動的に選択する適応バージョンも提供する。 実験では,シミュレーション問題と実データ問題の両方に対する提案フレームワークの有効性と効率を示す。

関連論文リスト

• Functional Gradient Flows for Constrained Sampling [29.631753643887237]
  本稿では,制約付き関数勾配流(CFG)と呼ばれる,制約付きサンプリングのための新しい関数勾配ParVI法を提案する。 また、領域制約から生じる境界積分項を扱うための新しい数値戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T16:20:48Z)
• Semi-Implicit Functional Gradient Flow [30.32233517392456]
  近似系として摂動粒子を用いる関数勾配ParVI法を提案する。 対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows [6.452626686361619]
  我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。 ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
  論文  参考訳（メタデータ） (2023-10-31T00:10:19Z)
• Particle-based Variational Inference with Preconditioned Functional Gradient Flow [13.519223374081648]
  プレコンディション付き関数勾配流(PFG)と呼ばれる新しい粒子ベース変分推論アルゴリズムを提案する。 PFGはStein variational gradient descent (SVGD)に対していくつかの利点がある ニューラルネットワークのような非線形関数クラスは勾配流を推定するために組み込むことができる。
  論文  参考訳（メタデータ） (2022-11-25T08:31:57Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。