論文の概要: A stochastic Stein Variational Newton method

• arxiv url: http://arxiv.org/abs/2204.09039v1
• Date: Tue, 19 Apr 2022 17:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 13:37:27.457757
• Title: A stochastic Stein Variational Newton method
• Title（参考訳）: 確率的シュタイン変分ニュートン法
• Authors: Alex Leviyev, Joshua Chen, Yifei Wang, Omar Ghattas, Aaron Zimmerman
• Abstract要約: SSVN(Stein variational Newton)は,高精度ベイズ推論タスクを高速化するための有望なアプローチであることを示す。 本アルゴリズムは, ハイブリッドローゼンブロック密度 (Hybrid Rosenbrock density) という, 難解なテスト問題に対する有効性を示すとともに, sSVN がログ確率の3桁未満の精度で収束することを示す。
• 参考スコア（独自算出の注目度）: 7.272730677575111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stein variational gradient descent (SVGD) is a general-purpose optimization-based sampling algorithm that has recently exploded in popularity, but is limited by two issues: it is known to produce biased samples, and it can be slow to converge on complicated distributions. A recently proposed stochastic variant of SVGD (sSVGD) addresses the first issue, producing unbiased samples by incorporating a special noise into the SVGD dynamics such that asymptotic convergence is guaranteed. Meanwhile, Stein variational Newton (SVN), a Newton-like extension of SVGD, dramatically accelerates the convergence of SVGD by incorporating Hessian information into the dynamics, but also produces biased samples. In this paper we derive, and provide a practical implementation of, a stochastic variant of SVN (sSVN) which is both asymptotically correct and converges rapidly. We demonstrate the effectiveness of our algorithm on a difficult class of test problems -- the Hybrid Rosenbrock density -- and show that sSVN converges using three orders of magnitude fewer gradient evaluations of the log likelihood than its stochastic SVGD counterpart. Our results show that sSVN is a promising approach to accelerating high-precision Bayesian inference tasks with modest-dimension, $d\sim\mathcal{O}(10)$.
• Abstract（参考訳）: Stein variational gradient descent (SVGD) は、最近人気が高まっている汎用最適化に基づくサンプリングアルゴリズムであるが、偏りのあるサンプルを生成することが知られており、複雑な分布への収束が遅くなるという2つの問題によって制限されている。 最近提案された SVGD の確率的変種 (sSVGD) は最初の問題に対処し、漸近収束が保証されるようなSVGD 力学に特別なノイズを組み込むことで、バイアスのないサンプルを生成する。 一方、SVGDのニュートン様拡張であるStein variational Newton (SVN)は、ヘッセン情報を力学に組み込むことで、SVGDの収束を劇的に加速するが、バイアスサンプルも生成する。 本稿では,漸近的に正確かつ迅速に収束するSVN(sSVN)の確率的変種を導出し,その実践的実装について述べる。 本アルゴリズムは, ハイブリッドローズブロック密度(Hybrid Rosenbrock density)という, 難解なテスト問題に対する有効性を示すとともに, sSVNは, 確率的SVGDよりも3桁少ない勾配評価を用いて収束することを示した。 以上の結果から,ssvn は低次元 $d\sim\mathcal{o}(10)$ で高精度ベイズ推定タスクを高速化する有望な手法であることが示された。

関連論文リスト

• Stein Variational Evolution Strategies [17.315583101484147]
  非正規化確率分布から高効率なサンプリング法として, SVGD法(Stein Variational Gradient Descent)がある。 既存の SVGD の勾配のないバージョンは、単純なモンテカルロ近似や、サロゲート分布からの勾配を利用しており、どちらも制限がある。 SVGDのステップと進化戦略(ES)の更新を組み合わせて、勾配のないスタイン変分推論を改善する。
  論文  参考訳（メタデータ） (2024-10-14T11:24:41Z)
• Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding [5.584060970507506]
  スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。 本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T06:24:57Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
  SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:21:28Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Grassmann Stein Variational Gradient Descent [3.644031721554146]
  スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。 近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。 任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:36:03Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。