論文の概要: Data Subsampling for Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2210.09141v2
- Date: Mon, 23 Sep 2024 14:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:47:36.531810
- Title: Data Subsampling for Bayesian Neural Networks
- Title(参考訳): ベイジアンニューラルネットワークのためのデータサブサンプリング
- Authors: Eiji Kawasaki, Markus Holzmann, Lawrence Adu-Gyamfi,
- Abstract要約: Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。
PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Markov Chain Monte Carlo (MCMC) algorithms do not scale well for large datasets leading to difficulties in Neural Network posterior sampling. In this paper, we propose Penalty Bayesian Neural Networks - PBNNs, as a new algorithm that allows the evaluation of the likelihood using subsampled batch data (mini-batches) in a Bayesian inference context towards addressing scalability. PBNN avoids the biases inherent in other naive subsampling techniques by incorporating a penalty term as part of a generalization of the Metropolis Hastings algorithm. We show that it is straightforward to integrate PBNN with existing MCMC frameworks, as the variance of the loss function merely reduces the acceptance probability. By comparing with alternative sampling strategies on both synthetic data and the MNIST dataset, we demonstrate that PBNN achieves good predictive performance even for small mini-batch sizes of data. We show that PBNN provides a novel approach for calibrating the predictive distribution by varying the mini-batch size, significantly reducing predictive overconfidence.
- Abstract(参考訳): Markov Chain Monte Carlo (MCMC)アルゴリズムは、ニューラルネットワークの後方サンプリングの困難に繋がる大規模なデータセットに対して、うまくスケールしない。
本稿では,ベイジアン推論コンテキストにおけるバッチデータ(ミニバッチ)を用いて拡張性に対処する可能性を評価するアルゴリズムとして,Pentalty Bayesian Neural Networks - PBNNを提案する。
PBNNは、メトロポリス・ヘイスティングス・アルゴリズムの一般化の一環としてペナルティ項を組み込むことによって、他のナイーブ・サブサンプリング技術に固有のバイアスを回避する。
既存のMCMCフレームワークとPBNNを統合することは容易であり、損失関数の分散は単に受け入れ確率を減少させるだけである。
合成データとMNISTデータセットの代替サンプリング戦略を比較することで、PBNNは小さなミニバッチサイズであっても優れた予測性能が得られることを示した。
PBNNは,ミニバッチサイズの変化による予測分布のキャリブレーションを行い,予測過信を著しく低減する手法を提案する。
関連論文リスト
- Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。
後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。
以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。
この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。
私たちの貢献は、より原則化された分散伝播フレームワークです。
論文 参考訳(メタデータ) (2023-11-21T22:53:20Z) - Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。
崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。
提案手法は, スケーラビリティと精度のバランスをとる。
論文 参考訳(メタデータ) (2023-06-16T08:34:42Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳(メタデータ) (2022-10-24T03:00:01Z) - Approximate blocked Gibbs sampling for Bayesian neural networks [1.7259824817932292]
本研究では、ブロックされたギブスサンプリングスキームを用いてパラメータのサブグループをサンプリングすることを提案する。
また、より深い層における提案のばらつきを減らして、奥行きを増すために、消滅する受け入れ率を軽減することもできる。
オープンな問題は、拡張データの存在下でフィードフォワードニューラルネットワークのミニバッチMCMCサンプリングを実行する方法である。
論文 参考訳(メタデータ) (2022-08-24T09:26:12Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - Simpler Certified Radius Maximization by Propagating Covariances [39.851641822878996]
Cifar-10、ImageNet、Places365などのデータセットの認定半径を最大化するアルゴリズムを示します。
これらの基準を満たすことで、データセットの認定半径を適度な深さで最大化し、全体の精度を小さくするアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2021-04-13T01:38:36Z) - Rapid Risk Minimization with Bayesian Models Through Deep Learning
Approximation [9.93116974480156]
本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。
私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。
テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
論文 参考訳(メタデータ) (2021-03-29T15:08:25Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。