論文の概要: Stein transport for Bayesian inference

• arxiv url: http://arxiv.org/abs/2409.01464v1
• Date: Mon, 2 Sep 2024 21:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:48:38.508941
• Title: Stein transport for Bayesian inference
• Title（参考訳）: ベイズ推論のためのスタイン輸送
• Authors: Nikolas Nüsken,
• Abstract要約: 我々は,ベイズ推論のための新しい手法である$textitStein transport$を紹介した。 駆動ベクトル場は再生カーネルヒルベルト空間から選択され、適切なカーネルリッジ回帰定式化またはスタイン幾何学における無限小最適輸送写像として導出することができる。 SVGDと比較して,Stein輸送は計算予算を大幅に削減した上で,より正確な後方近似に到達するだけでなく,SVGDでよく見られる分散崩壊現象を効果的に緩和することを示した。
• 参考スコア（独自算出の注目度）: 3.009591302286514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce $\textit{Stein transport}$, a novel methodology for Bayesian inference designed to efficiently push an ensemble of particles along a predefined curve of tempered probability distributions. The driving vector field is chosen from a reproducing kernel Hilbert space and can be derived either through a suitable kernel ridge regression formulation or as an infinitesimal optimal transport map in the Stein geometry. The update equations of Stein transport resemble those of Stein variational gradient descent (SVGD), but introduce a time-varying score function as well as specific weights attached to the particles. While SVGD relies on convergence in the long-time limit, Stein transport reaches its posterior approximation at finite time $t=1$. Studying the mean-field limit, we discuss the errors incurred by regularisation and finite-particle effects, and we connect Stein transport to birth-death dynamics and Fisher-Rao gradient flows. In a series of experiments, we show that in comparison to SVGD, Stein transport not only often reaches more accurate posterior approximations with a significantly reduced computational budget, but that it also effectively mitigates the variance collapse phenomenon commonly observed in SVGD.
• Abstract（参考訳）: ベイズ推論の新しい手法である$\textit{Stein transport}$を導入し、温度分布の事前定義された曲線に沿って粒子のアンサンブルを効率的に押し上げる。 駆動ベクトル場は再生カーネルヒルベルト空間から選択され、適切なカーネルリッジ回帰定式化またはスタイン幾何学における無限小最適輸送写像として導出することができる。 ステイン輸送の更新方程式は、スタイン変分勾配降下(SVGD)と似ているが、時間変化のスコア関数と粒子に付着する比重を導入する。 SVGDは長期の極限における収束に依存するが、スタイン輸送はその後部近似に有限時間で$t=1$で到達する。 平均場限界について,正則化と有限粒子効果による誤差を考察し,スタイン輸送を生死ダイナミクスとフィッシャー-ラオ勾配流に接続する。 SVGDと比較して,Stein輸送は計算予算を大幅に削減した上で,より正確な後方近似に到達するだけでなく,SVGDでよく見られる分散崩壊現象を効果的に緩和することを示した。

関連論文リスト

• Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent [14.890609936348277]
  我々は、Kernelized Stein Discrepancy (mathsfKSD$) と Wasserstein-2 メトリクスにおいて、スタイン変分勾配Descentアルゴリズムに対して有限粒子収束率を提供する。 我々の重要な洞察は、N$粒子位置の接合密度の間の相対エントロピーの時間微分が、期待される$mathsfKSD2$のN$倍とより小さな正の値に比例して支配的な負の部分に分裂するということである。
  論文  参考訳（メタデータ） (2024-09-13T01:49:19Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Stein Variational Gradient Descent: many-particle and long-time asymptotics [0.0]
  スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。 ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。 Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
  論文  参考訳（メタデータ） (2021-02-25T16:03:04Z)
• Rethinking Rotated Object Detection with Gaussian Wasserstein Distance Loss [111.8807588392563]
  境界不連続性と最終検出基準の不整合性は, 回転検出回帰損失設計のボトルネックとなっている。 本稿では,ガウス・ワッサーシュタイン距離に基づく新しい回帰損失を,この問題に対する基本的なアプローチとして提案する。
  論文  参考訳（メタデータ） (2021-01-28T12:04:35Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
  我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。 我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。 我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
  論文  参考訳（メタデータ） (2020-03-25T17:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。