論文の概要: On Batch Normalisation for Approximate Bayesian Inference

• arxiv url: http://arxiv.org/abs/2012.13220v1
• Date: Thu, 24 Dec 2020 12:40:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:23:43.151945
• Title: On Batch Normalisation for Approximate Bayesian Inference
• Title（参考訳）: 近似ベイズ推論のためのバッチ正規化について
• Authors: Jishnu Mukhoti, Puneet K. Dokania, Philip H.S. Torr, Yarin Gal
• Abstract要約: バッチ正規化は証拠の下限(ELBO)の最適性に影響しないことを示す。 また,モンテカルロバッチ正規化(MCBN)アルゴリズムについても検討し,MCDropoutと平行な近似推論手法を提案する。
• 参考スコア（独自算出の注目度）: 102.94525205971873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study batch normalisation in the context of variational inference methods in Bayesian neural networks, such as mean-field or MC Dropout. We show that batch-normalisation does not affect the optimum of the evidence lower bound (ELBO). Furthermore, we study the Monte Carlo Batch Normalisation (MCBN) algorithm, proposed as an approximate inference technique parallel to MC Dropout, and show that for larger batch sizes, MCBN fails to capture epistemic uncertainty. Finally, we provide insights into what is required to fix this failure, namely having to view the mini-batch size as a variational parameter in MCBN. We comment on the asymptotics of the ELBO with respect to this variational parameter, showing that as dataset size increases towards infinity, the batch-size must increase towards infinity as well for MCBN to be a valid approximate inference technique.
• Abstract（参考訳）: 本研究では,平均場やMCDropoutなどのベイズニューラルネットワークにおける変分推論手法の文脈におけるバッチ正規化について検討した。 バッチ正規化はエビデンス下限 (elbo) の最適値には影響を与えないことを示す。 さらにモンテカルロバッチ正規化 (mcbn) アルゴリズムをmcドロップアウトと平行な近似推定手法として提案し, バッチサイズが大きい場合には, mcbnが認識の不確かさを捉えることができないことを示した。 最後に、この障害を修正するために何が必要なのか、すなわち、ミニバッチサイズをMCBNの変動パラメータとして見る必要がある。 この変動パラメータに対するELBOの漸近性についてコメントし、データセットのサイズが無限大に向かって増加するにつれて、バッチサイズは無限大に向けて増加し、MCBNが妥当な近似推論手法であることを示す。

関連論文リスト

• Adaptive Bayesian Multivariate Spline Knot Inference with Prior Specifications on Model Complexity [7.142818102750932]
  本稿では,多変量スプライン回帰における結び目推論のための完全ベイズ的手法を提案する。 実験は、特にジャンプ不連続性に適合する関数において、アルゴリズムの素晴らしい能力を示す。
  論文  参考訳（メタデータ） (2024-05-22T05:14:52Z)
• Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes [8.198195852439946]
  本稿では,信頼度が2対比較に限定される優先ベイズ最適化(BO)について検討する。 優越性BOの重要な課題は、優越性ガウス過程(GP)モデルを用いてフレキシブルな選好構造を表現することである。 本研究では,高い計算効率と低いサンプル複雑性を両立させる新しい手法を開発し,その効果を広範囲な数値実験により実証する。
  論文  参考訳（メタデータ） (2023-02-03T03:02:38Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Data Subsampling for Bayesian Neural Networks [0.0]
  ペナルティベイズニューラルネットワーク(PBNN)は、与えられたミニバッチサイズに対して優れた予測性能を達成する。 ミニバッチのサイズを変えることで、予測分布の自然なキャリブレーションが可能になる。 PBNNは、複数の分散デバイスにデータセットを分散する場合に特に適していると考えています。
  論文  参考訳（メタデータ） (2022-10-17T14:43:35Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。