論文の概要: Confident Neural Network Regression with Bootstrapped Deep Ensembles

• arxiv url: http://arxiv.org/abs/2202.10903v2
• Date: Thu, 3 Aug 2023 12:28:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 17:47:01.535355
• Title: Confident Neural Network Regression with Bootstrapped Deep Ensembles
• Title（参考訳）: ブートストラップしたディープアンサンブルを用いたニューラルネットワークの信頼度
• Authors: Laurens Sluijterman, Eric Cator, Tom Heskes
• Abstract要約: 本稿では,Bootstrapped Deep Ensemblesと呼ばれる,レグレッション設定のための安価なDeep Ensembles拡張を提案する。 実験により,本手法が標準のDeep Ensemblesで大幅に改善されることを実証した。
• 参考スコア（独自算出の注目度）: 1.4610038284393165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rise of the popularity and usage of neural networks, trustworthy uncertainty estimation is becoming increasingly essential. One of the most prominent uncertainty estimation methods is Deep Ensembles (Lakshminarayanan et al., 2017) . A classical parametric model has uncertainty in the parameters due to the fact that the data on which the model is build is a random sample. A modern neural network has an additional uncertainty component since the optimization of the network is random. Lakshminarayanan et al. (2017) noted that Deep Ensembles do not incorporate the classical uncertainty induced by the effect of finite data. In this paper, we present a computationally cheap extension of Deep Ensembles for the regression setting, called Bootstrapped Deep Ensembles, that explicitly takes this classical effect of finite data into account using a modified version of the parametric bootstrap. We demonstrate through an experimental study that our method significantly improves upon standard Deep Ensembles
• Abstract（参考訳）: ニューラルネットワークの人気と利用が高まり、信頼性の高い不確実性推定がますます重要になっている。 最も顕著な不確実性推定手法の1つはDeep Ensembles (Lakshminarayanan et al., 2017)である。 古典的パラメトリックモデルは、モデルが構築されているデータがランダムサンプルであるという事実から、パラメータに不確実性がある。 現代のニューラルネットワークは、ネットワークの最適化がランダムであるため、さらなる不確実性を持つ。 Lakshminarayanan et al. (2017) は、Deep Ensembles は有限データの影響によって引き起こされる古典的な不確実性を含まないことを指摘した。 本稿では,パラメータブートストラップの修正版を用いて,この有限データの古典的効果を考慮に入れた,Bootstrapped Deep Ensemblesと呼ばれる回帰設定のための,計算的に安価なDeep Ensembles拡張を提案する。 実験により,本手法が標準のDeep Ensemblesで大幅に改善されることを示す。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations [0.0]
  演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。 VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
  論文  参考訳（メタデータ） (2022-06-12T04:20:11Z)
• Density Regression and Uncertainty Quantification with Bayesian Deep Noise Neural Networks [4.376565880192482]
  ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。 DNN予測の不確実性を正確に定量化することは、依然として難しい課題である。 本稿では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。ベイジアンDNNは,ランダムノイズ変数をすべての隠蔽層に拡張することにより,標準ベイジアンDNNを一般化する。 予測精度,不確実性定量化精度,不確実性定量化効率の点で優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-12T02:47:29Z)
• Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration [12.05471394131891]
  我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。 我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-01T21:16:34Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Why have a Unified Predictive Uncertainty? Disentangling it using Deep Split Ensembles [39.29536042476913]
  ブラックボックスニューラルネットワーク(NN)における不確実性の理解と定量化は、医療などの現実的な環境にデプロイする場合に不可欠である。 予測の不確かさを解消するために,概念的に単純な非ベイズ的アプローチ,ディープ・スプリット・アンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-25T19:15:26Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。