論文の概要: ELBOing Stein: Variational Bayes with Stein Mixture Inference
- arxiv url: http://arxiv.org/abs/2410.22948v1
- Date: Wed, 30 Oct 2024 12:05:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:28:47.511411
- Title: ELBOing Stein: Variational Bayes with Stein Mixture Inference
- Title（参考訳）: ELBOing Stein:Stein Mixture Inferenceを用いた変分ベイズ
- Authors: Ola Rønning, Eric Nalisnick, Christophe Ley, Padhraic Smyth, Thomas Hamelryck,
- Abstract要約: スタイン変分降下(SVGD)は、後方の粒子を一組の粒子で表すことで近似ベイズ推定を行う。
我々は,各粒子が混合モデルの成分分布をパラメータ化することでSVGDを一般化する。
提案手法であるStein Mixture Inference (SMI)は,エビデンス(ELBO)に対する低境界を最適化し,ユーザ特定ガイドを導入する。
- 参考スコア（独自算出の注目度）: 12.562946804046051
- License:
- Abstract: Stein variational gradient descent (SVGD) [Liu and Wang, 2016] performs approximate Bayesian inference by representing the posterior with a set of particles. However, SVGD suffers from variance collapse, i.e. poor predictions due to underestimating uncertainty [Ba et al., 2021], even for moderately-dimensional models such as small Bayesian neural networks (BNNs). To address this issue, we generalize SVGD by letting each particle parameterize a component distribution in a mixture model. Our method, Stein Mixture Inference (SMI), optimizes a lower bound to the evidence (ELBO) and introduces user-specified guides parameterized by particles. SMI extends the Nonlinear SVGD framework [Wang and Liu, 2019] to the case of variational Bayes. SMI effectively avoids variance collapse, judging by a previously described test developed for this purpose, and performs well on standard data sets. In addition, SMI requires considerably fewer particles than SVGD to accurately estimate uncertainty for small BNNs. The synergistic combination of NSVGD, ELBO optimization and user-specified guides establishes a promising approach towards variational Bayesian inference in the case of tall and wide data.
- Abstract（参考訳）: 定常変動勾配勾配勾配 (SVGD) [Liu and Wang, 2016] は, 後方を粒子の集合で表し, 近似ベイズ推定を行う。
しかし、SVGDは、小さなベイズニューラルネットワーク(BNN)のような適度な次元モデルでさえも、不確実性を過小評価する[Ba et al , 2021]ために、分散崩壊に悩まされている。
この問題に対処するために,各粒子が混合モデルにおける成分分布をパラメータ化することにより,SVGDを一般化する。
提案手法であるStein Mixture Inference (SMI)は,エビデンス(ELBO)に対する低境界を最適化し,粒子によってパラメータ化されたユーザ指定ガイドを導入する。
SMIは非線形SVGDフレームワーク [Wang and Liu, 2019] を変分ベイズの場合まで拡張する。
SMIは、この目的のために開発された前述のテストから判断し、分散崩壊を効果的に回避し、標準データセットでよく機能する。
加えて、SMIは小さなBNNに対する不確実性を正確に推定するためにSVGDよりもかなり少ない粒子を必要とする。
NSVGD, ELBO最適化, ユーザ特定ガイドの相乗的組み合わせは, 長大・広大データにおける変分ベイズ推定に対する有望なアプローチを確立している。
関連論文リスト
- Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
収束過程における有限粒子の等方性特性について検討する。
すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。
提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
論文 参考訳（メタデータ） (2023-05-18T01:13:04Z) - Grassmann Stein Variational Gradient Descent [3.644031721554146]
スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。
近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。
任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
論文 参考訳（メタデータ） (2022-02-07T15:36:03Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Forget-SVGD: Particle-Based Bayesian Federated Unlearning [32.638916321653554]
Forget-Stein Variational Gradient Descent (Forget-SVGD)はSVGD上に構築されている。
提案手法は,スクラッチから学習する非パラメトリックスキームとの性能比較により,忘れられるデータを除外して検証する。
論文 参考訳（メタデータ） (2021-11-23T18:15:50Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Federated Generalized Bayesian Learning via Distributed Stein
Variational Gradient Descent [38.41707037232561]
本稿では,非パラメトリック一般化ベイズ推論フレームワークDSVGDを提案する。
粒子数を変化させることで、DSVGDは粒子間通信負荷と通信ラウンド数との柔軟なトレードオフを可能にする。
論文 参考訳（メタデータ） (2020-09-11T17:33:22Z) - Kernel Stein Generative Modeling [68.03537693810972]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。
Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。
雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
論文 参考訳（メタデータ） (2020-07-06T21:26:04Z) - Sliced Kernelized Stein Discrepancy [17.159499204595527]
Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。
最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。
モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
論文 参考訳（メタデータ） (2020-06-30T04:58:55Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。