Fugu-MT 論文翻訳(概要): One Simple Trick to Fix Your Bayesian Neural Network

論文の概要: One Simple Trick to Fix Your Bayesian Neural Network

arxiv url: http://arxiv.org/abs/2207.13167v1
Date: Tue, 26 Jul 2022 19:45:36 GMT
ステータス: 処理完了
システム内更新日: 2022-07-28 12:57:05.219930
Title: One Simple Trick to Fix Your Bayesian Neural Network
Title（参考訳）: ベイジアンニューラルネットワークを修正するための簡単なトリック
Authors: Piotr Tempczyk, Ksawery Smoczy\'nski, Philip Smolenski-Jensen and Marek Cygan
Abstract要約: 本稿では、ReLUアクティベーション機能を持つニューラルネットワークが、MFVIに適合しにくい後部を誘導することを示す。 Leaky ReLUアクティベーションを使用することでガウス的な重量後部がより多くなり、ReLUベースのものよりも低いキャリブレーション誤差(ECE)が得られることがわかった。
参考スコア（独自算出の注目度）: 0.7955313479061443
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One of the most popular estimation methods in Bayesian neural networks (BNN) is mean-field variational inference (MFVI). In this work, we show that neural networks with ReLU activation function induce posteriors, that are hard to fit with MFVI. We provide a theoretical justification for this phenomenon, study it empirically, and report the results of a series of experiments to investigate the effect of activation function on the calibration of BNNs. We find that using Leaky ReLU activations leads to more Gaussian-like weight posteriors and achieves a lower expected calibration error (ECE) than its ReLU-based counterpart.
Abstract（参考訳）: ベイズニューラルネットワーク(BNN)における最も一般的な推定手法の1つは平均場変動推定(MFVI)である。本研究では、ReLU活性化機能を持つニューラルネットワークが後部を誘導し、MFVIに適合しにくいことを示す。我々は,この現象を理論的に正当化し,経験的に研究し,活性化関数がBNNの校正に及ぼす影響を調べる一連の実験の結果を報告する。 Leaky ReLUアクティベーションを使用することでガウス的な重量後部が増加し、ReLUベースのものよりも低いキャリブレーション誤差(ECE)が得られることがわかった。

関連論文リスト

Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient [3.823356975862005]
本稿では,ReLUファミリーにおけるアクティベーション関数の非微分性のため,これらのアクティベーション関数を持つネットワークに対するHMCは局所誤差が大きいことを示す。そして、実世界のデータセットでの実験だけでなく、経験的なシミュレーションを通して理論的な結果を検証する。
論文参考訳（メタデータ） (2024-10-29T14:23:42Z)
ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
論文参考訳（メタデータ） (2024-06-04T17:51:08Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文参考訳（メタデータ） (2023-05-05T09:40:28Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Modeling the Nonsmoothness of Modern Neural Networks [35.93486244163653]
ピークの大きさの和(SMP)という特徴を用いて不滑らかさを定量化する。この非平滑性機能は、ニューラルネットワークの回帰ベースのアプリケーションのためのフォレンジックツールとして利用される可能性があると考えます。
論文参考訳（メタデータ） (2021-03-26T20:55:19Z)
Stochastic Bayesian Neural Networks [0.0]
ベイズニューラルネットワークの変分推論手法を,元のエビデンス下界を用いて構築する。我々は,エビデンス低境界と呼ばれる新たな目的関数を用いて,エビデンス低境界を最大化するベイズニューラルネットワークを提案する。
論文参考訳（メタデータ） (2020-08-12T19:48:34Z)
Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文参考訳（メタデータ） (2020-06-18T13:57:04Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。