論文の概要: Stein Variational Gradient Descent: many-particle and long-time asymptotics

• arxiv url: http://arxiv.org/abs/2102.12956v1
• Date: Thu, 25 Feb 2021 16:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 13:51:45.240634
• Title: Stein Variational Gradient Descent: many-particle and long-time asymptotics
• Title（参考訳）: stein変分勾配降下:多粒子および長時間漸近系
• Authors: Nikolas N\"usken, D.R. Michiel Renger
• Abstract要約: スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。 ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。 Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stein variational gradient descent (SVGD) refers to a class of methods for Bayesian inference based on interacting particle systems. In this paper, we consider the originally proposed deterministic dynamics as well as a stochastic variant, each of which represent one of the two main paradigms in Bayesian computational statistics: variational inference and Markov chain Monte Carlo. As it turns out, these are tightly linked through a correspondence between gradient flow structures and large-deviation principles rooted in statistical physics. To expose this relationship, we develop the cotangent space construction for the Stein geometry, prove its basic properties, and determine the large-deviation functional governing the many-particle limit for the empirical measure. Moreover, we identify the Stein-Fisher information (or kernelised Stein discrepancy) as its leading order contribution in the long-time and many-particle regime in the sense of $\Gamma$-convergence, shedding some light on the finite-particle properties of SVGD. Finally, we establish a comparison principle between the Stein-Fisher information and RKHS-norms that might be of independent interest.
• Abstract（参考訳）: スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。 本稿では,ベイジアン計算統計学における2つの主要なパラダイムの1つである変分推論とマルコフ連鎖モンテカルロを表現する確率的変種と同様に,元々提案されていた決定論的ダイナミクスを考察する。 結論として、これらは勾配流構造と統計物理学に根ざした大縮退原理の対応によって強く結びついている。 この関係を明らかにするために、スタイン幾何学の余接空間構築を開発し、その基本的な性質を証明し、経験的測度に対する多粒子極限を規定する大偏差関数を決定する。 さらに,svgd の有限粒子特性に光をあてて,svgd の stein-fisher 情報(または kernelized stein discrepancy) を $\gamma$-convergence という意味での長期および多粒子レジームにおける主要な秩序寄与と同定した。 最後に、スタイン-フィッシュの情報と独立した関心を持つrkhs-ノルムの比較原理を確立する。

関連論文リスト

• Stein transport for Bayesian inference [3.009591302286514]
  我々は,ベイズ推論のための新しい手法である$textitStein transport$を紹介した。 駆動ベクトル場は再生カーネルヒルベルト空間から選択され、適切なカーネルリッジ回帰定式化またはスタイン幾何学における無限小最適輸送写像として導出することができる。 SVGDと比較して,Stein輸送は計算予算を大幅に削減した上で,より正確な後方近似に到達するだけでなく,SVGDでよく見られる分散崩壊現象を効果的に緩和することを示した。
  論文  参考訳（メタデータ） (2024-09-02T21:03:38Z)
• Particle-based Variational Inference with Generalized Wasserstein Gradient Flow [32.37056212527921]
  本稿では一般化ワッサーシュタイン勾配勾配(GWG)と呼ばれるParVIフレームワークを提案する。 GWGが強い収束保証を示すことを示す。 また、収束を加速するためにワッサーシュタイン計量を自動的に選択する適応版も提供する。
  論文  参考訳（メタデータ） (2023-10-25T10:05:42Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• De-randomizing MCMC dynamics with the diffusion Stein operator [21.815713258703575]
  近似ベイズ推定は、難解な対象分布の記述子を推定する。 MCMC動力学として知られる拡散型全試料に対して,非ランダム化されたカーネル型粒子サンプリング器を提案する。
  論文  参考訳（メタデータ） (2021-10-07T19:59:46Z)
• Entropy Production and the Role of Correlations in Quantum Brownian Motion [77.34726150561087]
  量子ブラウン運動のカルデイラ・レゲットモデルにおいて、量子エントロピーの生成、異なる種類の相関、およびそれらの相互作用について研究する。
  論文  参考訳（メタデータ） (2021-08-05T13:11:05Z)
• Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent [80.73580820014242]
  本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。 まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。 我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T01:35:17Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• The role of feature space in atomistic learning [62.997667081978825]
  物理的にインスパイアされた記述子は、原子論シミュレーションへの機械学習技術の応用において重要な役割を果たしている。 異なる記述子のセットを比較するためのフレームワークを導入し、メトリクスとカーネルを使ってそれらを変換するさまざまな方法を紹介します。 原子密度のn-体相関から構築した表現を比較し,低次特徴の利用に伴う情報損失を定量的に評価した。
  論文  参考訳（メタデータ） (2020-09-06T14:12:09Z)
• Sliced Kernelized Stein Discrepancy [17.159499204595527]
  Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。 最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。 モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
  論文  参考訳（メタデータ） (2020-06-30T04:58:55Z)
• A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
  我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。 我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。 我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
  論文  参考訳（メタデータ） (2020-03-25T17:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。