論文の概要: Regularized Stein Variational Gradient Flow

• arxiv url: http://arxiv.org/abs/2211.07861v1
• Date: Tue, 15 Nov 2022 02:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 14:43:46.760790
• Title: Regularized Stein Variational Gradient Flow
• Title（参考訳）: 正規化スタイン変分勾配流
• Authors: Ye He, Krishnakumar Balasubramanian, Bharath K. Sriperumbudur, Jianfeng Lu
• Abstract要約: 本稿では,定常変分勾配流とワッサーシュタイン勾配流とを補間する正規化スタイン変分勾配流を提案する。 正規化による性能向上の予備的な数値的証拠を提供する。
• 参考スコア（独自算出の注目度）: 17.90573655720574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Stein Variational Gradient Descent (SVGD) algorithm is an deterministic particle method for sampling. However, a mean-field analysis reveals that the gradient flow corresponding to the SVGD algorithm (i.e., the Stein Variational Gradient Flow) only provides a constant-order approximation to the Wasserstein Gradient Flow corresponding to the KL-divergence minimization. In this work, we propose the Regularized Stein Variational Gradient Flow which interpolates between the Stein Variational Gradient Flow and the Wasserstein Gradient Flow. We establish various theoretical properties of the Regularized Stein Variational Gradient Flow (and its time-discretization) including convergence to equilibrium, existence and uniqueness of weak solutions, and stability of the solutions. We provide preliminary numerical evidence of the improved performance offered by the regularization.
• Abstract（参考訳）: Stein Variational Gradient Descent (SVGD)アルゴリズムは、サンプリングのための決定論的粒子法である。 しかし、平均場解析により、svgdアルゴリズムに対応する勾配流(すなわち、スタイン変分勾配流)は、kl-divergence最小化に対応するワッサーシュタイン勾配流の定数次近似のみをもたらすことが分かる。 本研究では,スタイン変分勾配流とワッサースタイン勾配流の間を補間する正則化シュタイン変分勾配流を提案する。 我々は、平衡への収束、弱解の存在と一意性、解の安定性を含む正規化スタイン変分勾配流(およびその時間分散)の様々な理論的性質を確立する。 正規化による性能向上の予備的な数値的証拠を提供する。

関連論文リスト

• Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows [6.452626686361619]
  我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。 ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
  論文  参考訳（メタデータ） (2023-10-31T00:10:19Z)
• Particle-based Variational Inference with Generalized Wasserstein Gradient Flow [32.37056212527921]
  本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。 GWGが強い収束保証を示すことを示す。 また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
  論文  参考訳（メタデータ） (2023-10-25T10:05:42Z)
• Sampling via Gradient Flows in the Space of Probability Measures [10.892894776497165]
  近年の研究では,確率測度空間における勾配流を考慮したアルゴリズムが,アルゴリズム開発のための新たな道を開くことが示されている。 本稿では,これらの勾配流の設計成分を精査することにより,このサンプリング手法に3つの貢献を行う。
  論文  参考訳（メタデータ） (2023-10-05T15:20:35Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Variational Wasserstein gradient flow [9.901677207027806]
  本稿では、ワッサーシュタイン勾配流に対するスケーラブルな近位勾配型アルゴリズムを提案する。 この枠組みは熱方程式や多孔質媒質方程式を含む古典的なワッサーシュタイン勾配流を網羅する。
  論文  参考訳（メタデータ） (2021-12-04T20:27:31Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。