論文の概要: Data Subsampling for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2210.09141v1
• Date: Mon, 17 Oct 2022 14:43:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 17:04:53.970421
• Title: Data Subsampling for Bayesian Neural Networks
• Title（参考訳）: ベイジアンニューラルネットワークのためのデータサブサンプリング
• Authors: Eiji Kawasaki, Markus Holzmann
• Abstract要約: ペナルティベイズニューラルネットワーク(PBNN)は、与えられたミニバッチサイズに対して優れた予測性能を達成する。 ミニバッチのサイズを変えることで、予測分布の自然なキャリブレーションが可能になる。 PBNNは、複数の分散デバイスにデータセットを分散する場合に特に適していると考えています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Markov Chain Monte Carlo (MCMC) algorithms do not scale well for large datasets leading to difficulties in Neural Network posterior sampling. In this paper, we apply a generalization of the Metropolis Hastings algorithm that allows us to restrict the evaluation of the likelihood to small mini-batches in a Bayesian inference context. Since it requires the computation of a so-called "noise penalty" determined by the variance of the training loss function over the mini-batches, we refer to this data subsampling strategy as Penalty Bayesian Neural Networks - PBNNs. Its implementation on top of MCMC is straightforward, as the variance of the loss function merely reduces the acceptance probability. Comparing to other samplers, we empirically show that PBNN achieves good predictive performance for a given mini-batch size. Varying the size of the mini-batches enables a natural calibration of the predictive distribution and provides an inbuilt protection against overfitting. We expect PBNN to be particularly suited for cases when data sets are distributed across multiple decentralized devices as typical in federated learning.
• Abstract（参考訳）: マルコフ連鎖モンテカルロ(mcmc)アルゴリズムは大規模データセットではうまくスケールしないため、ニューラルネットワークの後方サンプリングが困難になる。 本稿では,ベイズ推論の文脈において,可能性評価を小さなミニバッチに限定できるmetropolis hastingsアルゴリズムの一般化を適用する。 ミニバッチ上でのトレーニング損失関数の分散によって決定されるいわゆる「ノイズペナルティ」の計算を必要とするため、このデータサブサンプリング戦略をペナルティベイズニューラルネットワーク(PBNN)と呼ぶ。 損失関数の分散は受け入れ確率を単純に減少させるため、mcmc上での実装は単純である。 他のサンプルと比較すると、PBNNは与えられたミニバッチサイズに対して優れた予測性能を示す。 ミニバッチのサイズを変えることで、予測分布の自然なキャリブレーションが可能になり、オーバーフィッティングに対する組込み保護を提供する。 PBNNは、複数の分散デバイスにデータセットが分散されている場合に、フェデレート学習の典型として特に適していると考えています。

関連論文リスト

• Sampling from Bayesian Neural Network Posteriors with Symmetric Minibatch Splitting Langevin Dynamics [0.8749675983608172]
  本稿では,ビッグデータおよびAIアプリケーションのパラメータ空間をサンプリングするためのスケーラブルな動的ランゲヴィン動的アルゴリズムを提案する。 その結果,Symmetric Minibatch Splitting-UBU (SMS-UBU) インテグレータのバイアスは$O(h2 d1/2)$ in dimension $d>0$ with stepsize $h>0$であることがわかった。 このアルゴリズムを用いて, 畳み込みニューラルネットワークアーキテクチャを用いたニューラルネットワークにおいて, ベイズニューラルネットワーク(BNN)の後部分布の局所的モードを探索し, 後部予測確率の校正性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T13:47:02Z)
• Single-shot Bayesian approximation for neural networks [0.0]
  ディープニューラルネットワーク(NN)はその高い予測性能で知られている。 NNは不確実性を示すことなく、全く新しい状況に遭遇すると信頼できない予測を下す傾向にある。 単発MCドロップアウト近似は,BNNの利点を保ちながら,NNと同じくらい高速であることを示す。
  論文  参考訳（メタデータ） (2023-08-24T13:40:36Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
  閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。 出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。 これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
  論文  参考訳（メタデータ） (2021-10-03T07:29:57Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。