論文の概要: Compromise-free Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2004.12211v3
• Date: Sat, 13 Jun 2020 12:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:43:28.500818
• Title: Compromise-free Bayesian neural networks
• Title（参考訳）: 妥協のないベイズニューラルネットワーク
• Authors: Kamran Javid, Will Handley, Mike Hobson, Anthony Lasenby
• Abstract要約: 我々は,全(非ガウスおよびマルチモーダル)ネットワークを後方で数値的にサンプリングし,ベイズ証拠の数値的な推定値を得る。 ReLU$アクティベーション関数を持つネットワークは、$tanh$関数を持つネットワークよりも一貫して高いエビデンスを持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We conduct a thorough analysis of the relationship between the out-of-sample performance and the Bayesian evidence (marginal likelihood) of Bayesian neural networks (BNNs), as well as looking at the performance of ensembles of BNNs, both using the Boston housing dataset. Using the state-of-the-art in nested sampling, we numerically sample the full (non-Gaussian and multimodal) network posterior and obtain numerical estimates of the Bayesian evidence, considering network models with up to 156 trainable parameters. The networks have between zero and four hidden layers, either $\tanh$ or $ReLU$ activation functions, and with and without hierarchical priors. The ensembles of BNNs are obtained by determining the posterior distribution over networks, from the posterior samples of individual BNNs re-weighted by the associated Bayesian evidence values. There is good correlation between out-of-sample performance and evidence, as well as a remarkable symmetry between the evidence versus model size and out-of-sample performance versus model size planes. Networks with $ReLU$ activation functions have consistently higher evidences than those with $\tanh$ functions, and this is reflected in their out-of-sample performance. Ensembling over architectures acts to further improve performance relative to the individual BNNs.
• Abstract（参考訳）: 我々は,ベイズ型ニューラルネットワーク(bnns)のベイズ的証拠とサンプル外性能の関係を徹底的に分析し,ボストン・ハウジング・データセットを用いてbnnのアンサンブルの性能を考察した。 ネストサンプリングにおける最先端技術を用いて,全(非ガウシアンおよびマルチモーダル)ネットワークの後方を数値的にサンプリングし,最大156パラメータのネットワークモデルを用いてベイズ証拠の数値推定を行う。 ネットワークはゼロから4つの隠れレイヤを持ち、$\tanh$か$ReLU$のアクティベーション関数を持ち、階層的な前もなしである。 BNNのアンサンブルは、ベイズ証拠値によって再重み付けされた個々のBNNの後部サンプルから、ネットワーク上の後部分布を決定することによって得られる。 サンプル外性能と証拠との間には良好な相関関係があり、証拠対モデルサイズとサンプル外パフォーマンスとモデルサイズプレーンとの間には顕著な対称性がある。 relu$アクティベーション関数を持つネットワークは、$\tanh$関数を持つネットワークよりも一貫して高い証拠を持っている。 アーキテクチャを組み立てることによって、個々のBNNと比較してパフォーマンスがさらに向上する。

関連論文リスト

• Role of Locality and Weight Sharing in Image-Based Tasks: A Sample Complexity Separation between CNNs, LCNs, and FCNs [42.551773746803946]
  視覚タスクは局所性と翻訳不変性の特性によって特徴づけられる。 これらのタスクにおける畳み込みニューラルネットワーク(CNN)の優れた性能は、そのアーキテクチャに埋め込まれた局所性や重み付けの帰納的バイアスに起因する。 CNNにおけるこれらのバイアスの統計的利点を、局所連結ニューラルネットワーク(LCN)と完全連結ニューラルネットワーク(FCN)で定量化しようとする試みは、以下のカテゴリに分類される。
  論文  参考訳（メタデータ） (2024-03-23T03:57:28Z)
• Individual Fairness in Bayesian Neural Networks [9.386341375741225]
  ベイズニューラルネットワーク(BNN)における個人公正性(IF)について検討する。 我々は、入力空間上の統計的サンプリングと、逆数と個人フェアネスの関係に関するバウンダリを用いて、$epsilon$-$delta$-IFのロバストネス推定のためのフレームワークを導出する。 近似ベイズ推定により訓練されたBNNは、決定論的推定よりも明らかに個々に公平である傾向にある。
  論文  参考訳（メタデータ） (2023-04-21T09:12:14Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Model Architecture Adaption for Bayesian Neural Networks [9.978961706999833]
  我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。 我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
  論文  参考訳（メタデータ） (2022-02-09T10:58:50Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• Siamese Neural Network with Joint Bayesian Model Structure for Speaker Verification [54.96267179988487]
  本稿では,話者検証のための新しいサイムズニューラルネットワーク(SiamNN)を提案する。 サンプルの結合分布は、JB(Joint Bayesian)に基づく生成モデルに基づいて最初に定式化される。 話者照合のための二項識別タスクとして,ペアワイズしたサンプルを用いてモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2021-04-07T09:17:29Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。