論文の概要: Bayesian posterior approximation with stochastic ensembles
- arxiv url: http://arxiv.org/abs/2212.08123v1
- Date: Thu, 15 Dec 2022 20:23:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 14:19:41.920921
- Title: Bayesian posterior approximation with stochastic ensembles
- Title（参考訳）: 確率的アンサンブルを用いたベイズ後方近似
- Authors: Oleksandr Balabanov, Bernhard Mehlig, Hampus Linander
- Abstract要約: ベイジアン後部を近似するために,ニューラルネットワークのアンサンブルを導入する。
我々はモンテカルロのドロップアウト、DropConnect、および新しい非パラメトリック版のドロップアウトに基づいてアンサンブルを実装している。
CIFAR の場合、アンサンブルは ResNet-20 アーキテクチャのために公表されたハミルトニアンモンテカルロの結果と定量的に比較される。
- 参考スコア（独自算出の注目度）: 19.444636864515726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce ensembles of stochastic neural networks to approximate the
Bayesian posterior, combining stochastic methods such as dropout with deep
ensembles. The stochastic ensembles are formulated as families of distributions
and trained to approximate the Bayesian posterior with variational inference.
We implement stochastic ensembles based on Monte Carlo dropout, DropConnect and
a novel non-parametric version of dropout and evaluate them on a toy problem
and CIFAR image classification. For CIFAR, the stochastic ensembles are
quantitatively compared to published Hamiltonian Monte Carlo results for a
ResNet-20 architecture. We also test the quality of the posteriors directly
against Hamiltonian Monte Carlo simulations in a simplified toy model. Our
results show that in a number of settings, stochastic ensembles provide more
accurate posterior estimates than regular deep ensembles.
- Abstract（参考訳）: 本研究では,ベイズ後部を近似する確率的ニューラルネットワークのアンサンブルを導入し,ドロップアウトなどの確率的手法と深部アンサンブルを組み合わせた。
確率的アンサンブルは分布の族として定式化され、ベイズ後部を変分推論で近似するように訓練される。
我々はモンテカルロのドロップアウト、DropConnect、および新しい非パラメトリックなドロップアウトに基づく確率的アンサンブルを実装し、それらをおもちゃ問題とCIFAR画像分類に基づいて評価する。
CIFARでは、確率的アンサンブルは、ResNet-20アーキテクチャのハミルトンモンテカルロの結果と定量的に比較される。
また、単純化された玩具モデルにおいて、ハミルトンモンテカルロシミュレーションに対して後部の品質を直接テストする。
以上の結果から,確率的アンサンブルは通常のディープアンサンブルよりも精度の高い後続推定値を提供することがわかった。
関連論文リスト
- Online Posterior Sampling with a Diffusion Prior [20.24212000441531]
ガウス事前の文脈的包帯における後方サンプリングは、ラプラス近似を用いて正確にあるいはほぼ実施することができる。
そこで本研究では,拡散モデルを用いた文脈帯域に対する近似的な後方サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T20:47:16Z) - von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Scalable Bayesian Learning with posteriors [0.856335408411906]
ベイズ学習の汎用実装をホストするPyTorchライブラリであるPostorsを導入する。
実験によりベイズ近似の有効性を実証・比較し,寒冷後部効果と大規模言語モデルを用いた応用について検討した。
論文 参考訳（メタデータ） (2024-05-31T18:00:12Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳（メタデータ） (2023-08-10T08:43:20Z) - Content Popularity Prediction Based on Quantized Federated Bayesian
Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。
そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。
我々はベイズ学習を利用してモデルパラメータを訓練する。
論文 参考訳（メタデータ） (2022-06-23T03:05:12Z) - Posterior Refinement Improves Sample Efficiency in Bayesian Neural
Networks [27.11052209129402]
実験により、MC近似予測分布の鍵は、近似後部自体の品質であることが示された。
得られた後続近似は、ゴールド標準のフルバッチハミルトニアンモンテカルロでさえ競合することを示した。
論文 参考訳（メタデータ） (2022-05-20T09:24:39Z) - Greedy Bayesian Posterior Approximation with Deep Ensembles [22.466176036646814]
独立して訓練された目的の集合は、ディープラーニングにおける予測の不確実性を推定するための最先端のアプローチである。
関数空間における任意の問題に対する成分の混合に対して,本手法は部分モジュラーであることを示す。
論文 参考訳（メタデータ） (2021-05-29T11:35:27Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳（メタデータ） (2020-06-22T15:26:59Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。