論文の概要: An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence

• arxiv url: http://arxiv.org/abs/2010.02709v5
• Date: Mon, 24 Jan 2022 14:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:55:13.109380
• Title: An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence
• Title（参考訳）: 漸近的過信を固定するベイズReLUネットの無限機能拡張
• Authors: Agustinus Kristiadi, Matthias Hein, Philipp Hennig
• Abstract要約: ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。 しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。 事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 65.24701908364383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Bayesian treatment can mitigate overconfidence in ReLU nets around the training data. But far away from them, ReLU Bayesian neural networks (BNNs) can still underestimate uncertainty and thus be asymptotically overconfident. This issue arises since the output variance of a BNN with finitely many features is quadratic in the distance from the data region. Meanwhile, Bayesian linear models with ReLU features converge, in the infinite-width limit, to a particular Gaussian process (GP) with a variance that grows cubically so that no asymptotic overconfidence can occur. While this may seem of mostly theoretical interest, in this work, we show that it can be used in practice to the benefit of BNNs. We extend finite ReLU BNNs with infinite ReLU features via the GP and show that the resulting model is asymptotically maximally uncertain far away from the data while the BNNs' predictive power is unaffected near the data. Although the resulting model approximates a full GP posterior, thanks to its structure, it can be applied \emph{post-hoc} to any pre-trained ReLU BNN at a low cost.
• Abstract（参考訳）: ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。 しかし、それらから遠く離れたところでは、relu bayesian neural networks (bnns)は依然として不確実性を過小評価し、漸近的に自信過剰である。 この問題は、有限個の特徴を持つBNNの出力分散がデータ領域からの距離で二次的であることから生じる。 一方、relu特徴を持つベイズ線型モデルは無限幅極限において特定のガウス過程(gp)に収束し、漸近的な過剰信頼が起こらないように立方的に成長する分散を持つ。 これは理論的な関心事のようだが、本研究では、BNNの利益のために実際に使用できることが示されている。 GPを介して無限のReLU特徴を持つ有限ReLU BNNを拡張し、BNNの予測パワーがデータの近くで影響を受けない間に、結果のモデルが漸近的に最大不確実であることを示す。 結果として得られるモデルは完全なGP後部を近似するが、その構造のおかげで、任意の事前訓練されたReLU BNNに低コストで適用することができる。

関連論文リスト

• Approximation Bounds for Recurrent Neural Networks with Application to Regression [7.723218675113336]
  深部ReLUリカレントニューラルネットワーク(RNN)の近似能力について検討し,RNNを用いた非パラメトリック最小二乗回帰の収束特性について検討した。 H" の滑らかな関数に対する RNN の近似誤差の上限を導出する。 以上の結果から,RNNの性能に関する統計的保証が得られる。
  論文  参考訳（メタデータ） (2024-09-09T13:02:50Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Wide Mean-Field Bayesian Neural Networks Ignore the Data [29.050507540280922]
  ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。 アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
  論文  参考訳（メタデータ） (2022-02-23T18:21:50Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。