論文の概要: Scalable Bayesian Learning with posteriors
- arxiv url: http://arxiv.org/abs/2406.00104v1
- Date: Fri, 31 May 2024 18:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 08:33:32.420715
- Title: Scalable Bayesian Learning with posteriors
- Title（参考訳）: 後方学習によるスケーラブルベイズ学習
- Authors: Samuel Duffield, Kaelan Donatella, Johnathan Chiu, Phoebe Klett, Daniel Simpson,
- Abstract要約: ベイズ学習の汎用実装をホストするPyTorchライブラリであるPostorsを導入する。
実験によりベイズ近似の有効性を実証・比較し,寒冷後部効果と大規模言語モデルを用いた応用について検討した。
- 参考スコア（独自算出の注目度）: 0.856335408411906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although theoretically compelling, Bayesian learning with modern machine learning models is computationally challenging since it requires approximating a high dimensional posterior distribution. In this work, we (i) introduce posteriors, an easily extensible PyTorch library hosting general-purpose implementations making Bayesian learning accessible and scalable to large data and parameter regimes; (ii) present a tempered framing of stochastic gradient Markov chain Monte Carlo, as implemented in posteriors, that transitions seamlessly into optimization and unveils a minor modification to deep ensembles to ensure they are asymptotically unbiased for the Bayesian posterior, and (iii) demonstrate and compare the utility of Bayesian approximations through experiments including an investigation into the cold posterior effect and applications with large language models.
- Abstract（参考訳）: 理論的には魅力的ではあるが、現代の機械学習モデルを用いたベイズ学習は、高次元の後方分布を近似する必要があるため、計算的に困難である。
この作品では、
i) 容易に拡張可能なPyTorchライブラリであるPostorsを導入し、ベイジアン学習を大規模データやパラメーターレシエーションに対してアクセスしやすくスケーラブルにする汎用実装をホストする。
2) 後方に実装された確率勾配マルコフ連鎖モンテカルロの温和なフレーミングは、最適化にシームレスに移行し、ベイズ後方に漸近的に偏りがないことを保証するために、深層アンサンブルへの小さな修正を提示する。
3) ベイズ近似の有用性を実験により実証・比較し, 寒冷後部効果と大規模言語モデルを用いた応用について検討した。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - A variational neural Bayes framework for inference on intractable posterior distributions [1.0801976288811024]
トレーニングされたニューラルネットワークに観測データを供給することにより、モデルパラメータの後方分布を効率的に取得する。
理論的には、我々の後部はKulback-Leiblerの発散において真の後部に収束することを示す。
論文 参考訳（メタデータ） (2024-04-16T20:40:15Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Towards Improved Variational Inference for Deep Bayesian Models [7.841254447222393]
本論では,変分推論(VI)を近似として用いることを検討する。
VI は後部を同時に近似し、限界度に低い境界を与えるという点で特異である。
本稿ではベイズニューラルネットワークと深いガウス過程における推論の統一的なビューを提供する変分後部を提案する。
論文 参考訳（メタデータ） (2024-01-23T00:40:20Z) - Machine Learning and the Future of Bayesian Computation [15.863162558281614]
機械学習のアイデアを用いた後続計算の改善の可能性について論じる。
また, 流動の正規化, ベイズコアセット, 分散ベイズ推定, 変分推定について検討した。
論文 参考訳（メタデータ） (2023-04-21T21:03:01Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳（メタデータ） (2022-05-23T18:54:27Z) - Non-Volatile Memory Accelerated Posterior Estimation [3.4256231429537936]
現在の機械学習モデルは、予測を行う際に単一の学習可能なパラメータの組み合わせのみを使用する。
高容量永続ストレージを利用することで、後部分布が大きすぎて近似できないモデルが実現可能であることを示す。
論文 参考訳（メタデータ） (2022-02-21T20:25:57Z) - What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。
また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
論文 参考訳（メタデータ） (2021-04-29T15:38:46Z) - Multilevel Gibbs Sampling for Bayesian Regression [6.2997667081978825]
データ行列のレベル階層は、データ行列の特徴やサンプルをクラスタリングすることによって作成されます。
マルコフ連鎖の収束を改善するために, 相関試料を用いた分散還元について検討した。
スピードアップは、予測性能に大きな損失を被ることなく、ほぼすべてに対して達成される。
論文 参考訳（メタデータ） (2020-09-25T11:18:17Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。