Fugu-MT 論文翻訳(概要): Augmented Message Passing Stein Variational Gradient Descent

論文の概要: Augmented Message Passing Stein Variational Gradient Descent

arxiv url: http://arxiv.org/abs/2305.10636v1
Date: Thu, 18 May 2023 01:13:04 GMT
ステータス: 処理完了
システム内更新日: 2023-05-19 17:29:09.927071
Title: Augmented Message Passing Stein Variational Gradient Descent
Title（参考訳）: 拡張メッセージパッシングstein変分勾配降下
Authors: Jiankui Zhou and Yue Qiu
Abstract要約: 収束過程における有限粒子の等方性特性について検討する。すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
参考スコア（独自算出の注目度）: 3.5788754401889014
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Stein Variational Gradient Descent (SVGD) is a popular particle-based method for Bayesian inference. However, its convergence suffers from the variance collapse, which reduces the accuracy and diversity of the estimation. In this paper, we study the isotropy property of finite particles during the convergence process and show that SVGD of finite particles cannot spread across the entire sample space. Instead, all particles tend to cluster around the particle center within a certain range and we provide an analytical bound for this cluster. To further improve the effectiveness of SVGD for high-dimensional problems, we propose the Augmented Message Passing SVGD (AUMP-SVGD) method, which is a two-stage optimization procedure that does not require sparsity of the target distribution, unlike the MP-SVGD method. Our algorithm achieves satisfactory accuracy and overcomes the variance collapse problem in various benchmark problems.
Abstract（参考訳）: 定常変分勾配Descent (SVGD) はベイズ推論の一般的な粒子法である。しかし、その収束は分散崩壊に苦しむため、推定の精度と多様性が低下する。本稿では, 有限粒子の収束過程における等方性特性について検討し, 有限粒子のSVGDが試料空間全体に分散できないことを示す。代わりに、全ての粒子は一定の範囲で粒子中心の周りに集まり、このクラスターに対して解析的境界を与える。高次元問題に対するSVGDの有効性をさらに向上するため,MP-SVGD法とは異なり,目標分布の空間性を必要としない2段階最適化手法であるAUMP-SVGD法を提案する。本アルゴリズムは,様々なベンチマーク問題の分散崩壊問題を克服し,良好な精度を実現する。

関連論文リスト

Annealed Stein Variational Gradient Descent for Improved Uncertainty Estimation in Full-Waveform Inversion [25.714206592953545]
変分推論 (VI) は、パラメトリックまたは非パラメトリックな提案分布の形で後部分布に近似的な解を与える。本研究は、フルウェーブフォーム・インバージョンにおけるVIの性能向上を目的としている。
論文参考訳（メタデータ） (2024-10-17T06:15:26Z)
Analytic-Splatting: Anti-Aliased 3D Gaussian Splatting via Analytic Integration [49.004898985671815]
3DGSはエイリアスフリーではなく、解像度の異なるレンダリングは、ひどくぼやけたり、ジャギーになったりする可能性がある。これは、3DGSが各ピクセルを領域ではなく孤立した単一点として扱い、ピクセルのフットプリントの変化に敏感であるからである。本稿では、この近似を2次元のピクセルシェーディングに導入し、2D-ピクセルウィンドウ領域内のガウス積分を解析的に近似するアナリシス・スプレイティングを提案する。
論文参考訳（メタデータ） (2024-03-17T02:06:03Z)
Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
論文参考訳（メタデータ） (2023-05-27T19:21:28Z)
Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent [16.16051064618816]
Stein Variational Gradient Descent (SVGD) は、非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。双線型カーネルを介してガウス分布の族に投影されるガウス-SVGDのダイナミクスについて検討する。本稿では密度ベースおよび粒子ベースによるGaussian-SVGDの実装を提案し、GVIの最近のアルゴリズムは、異なる視点から提案され、我々の統合フレームワークの特別なケースとして現れていることを示す。
論文参考訳（メタデータ） (2023-05-23T13:55:47Z)
A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
論文参考訳（メタデータ） (2022-11-17T17:50:39Z)
Detecting Rotated Objects as Gaussian Distributions and Its 3-D Generalization [81.29406957201458]
既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。回転した物体をガウス分布としてモデル化することを提案する。 2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
論文参考訳（メタデータ） (2022-09-22T07:50:48Z)
Grassmann Stein Variational Gradient Descent [3.644031721554146]
スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
論文参考訳（メタデータ） (2022-02-07T15:36:03Z)
Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文参考訳（メタデータ） (2020-12-21T18:33:13Z)
Kernel Stein Generative Modeling [68.03537693810972]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
論文参考訳（メタデータ） (2020-07-06T21:26:04Z)
A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
論文参考訳（メタデータ） (2020-06-17T12:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。