論文の概要: Disentangling the Predictive Variance of Deep Ensembles through the
Neural Tangent Kernel
- arxiv url: http://arxiv.org/abs/2210.09818v1
- Date: Tue, 18 Oct 2022 12:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 15:34:20.312423
- Title: Disentangling the Predictive Variance of Deep Ensembles through the
Neural Tangent Kernel
- Title（参考訳）: ニューラルタンジェントカーネルによる深部アンサンブルの予測変数の識別
- Authors: Seijin Kobayashi, Pau Vilimelis Aceituno, Johannes von Oswald
- Abstract要約: 簡易な線形学習システムにおいて,広い層幅の深層アンサンブルについて検討した。
我々は2つのノイズ源を同定し、それぞれが予測的分散において顕著な帰納バイアスを誘導する。
我々は,これらのノイズ源の一部を除去する実用的な方法を提案し,訓練されたディープアンサンブルにおけるOODの検出を改善した。
- 参考スコア（独自算出の注目度）: 4.515606790756141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifying unfamiliar inputs, also known as out-of-distribution (OOD)
detection, is a crucial property of any decision making process. A simple and
empirically validated technique is based on deep ensembles where the variance
of predictions over different neural networks acts as a substitute for input
uncertainty. Nevertheless, a theoretical understanding of the inductive biases
leading to the performance of deep ensemble's uncertainty estimation is
missing. To improve our description of their behavior, we study deep ensembles
with large layer widths operating in simplified linear training regimes, in
which the functions trained with gradient descent can be described by the
neural tangent kernel. We identify two sources of noise, each inducing a
distinct inductive bias in the predictive variance at initialization. We
further show theoretically and empirically that both noise sources affect the
predictive variance of non-linear deep ensembles in toy models and realistic
settings after training. Finally, we propose practical ways to eliminate part
of these noise sources leading to significant changes and improved OOD
detection in trained deep ensembles.
- Abstract（参考訳）: 不慣れな入力を識別(out-of-distribution(OOD)検出)することは、意思決定プロセスの重要な特性である。
単純かつ実証的に検証された手法は、異なるニューラルネットワーク上の予測の分散が入力の不確実性の代わりに働く深いアンサンブルに基づいている。
それでも、深いアンサンブルの不確実性推定のパフォーマンスにつながる誘導バイアスの理論的理解は欠落している。
本研究は,その挙動を説明するために,単純な線形訓練系で動作する層幅の大きい深層アンサンブルについて検討し,勾配降下で訓練された関数を神経接核で記述する。
2つのノイズ源を同定し、それぞれ初期化時の予測偏差に顕著な帰納バイアスを誘導する。
さらに,両ノイズ源が玩具モデルにおける非線形深部アンサンブルの予測分散や,訓練後の現実的な設定に影響を及ぼすことを示す。
最後に,これらのノイズ源の一部を除去し,有意な変化を生じさせる実用的な方法を提案し,訓練された深層アンサンブルにおけるood検出を改善する。
関連論文リスト
- Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳（メタデータ） (2023-11-09T23:32:06Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Density Regression and Uncertainty Quantification with Bayesian Deep
Noise Neural Networks [4.376565880192482]
ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。
DNN予測の不確実性を正確に定量化することは、依然として難しい課題である。
本稿では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。ベイジアンDNNは,ランダムノイズ変数をすべての隠蔽層に拡張することにより,標準ベイジアンDNNを一般化する。
予測精度,不確実性定量化精度,不確実性定量化効率の点で優れた性能を示した。
論文 参考訳（メタデータ） (2022-06-12T02:47:29Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。
線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
論文 参考訳（メタデータ） (2020-11-15T18:19:42Z) - Efficient Variational Inference for Sparse Deep Learning with
Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。
本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。
我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文 参考訳（メタデータ） (2020-11-15T03:27:54Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Reintroducing Straight-Through Estimators as Principled Methods for
Stochastic Binary Networks [85.94999581306827]
2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。
多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。
同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
論文 参考訳（メタデータ） (2020-06-11T23:58:18Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。