論文の概要: The Hidden Uncertainty in a Neural Networks Activations
- arxiv url: http://arxiv.org/abs/2012.03082v2
- Date: Tue, 23 Feb 2021 08:43:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 12:12:34.538213
- Title: The Hidden Uncertainty in a Neural Networks Activations
- Title（参考訳）: ニューラルネットワークの活性化における隠れた不確かさ
- Authors: Janis Postels, Hermann Blum, Yannick Str\"umpler, Cesar Cadena, Roland
Siegwart, Luc Van Gool, Federico Tombari
- Abstract要約: ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
- 参考スコア（独自算出の注目度）: 105.4223982696279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The distribution of a neural network's latent representations has been
successfully used to detect out-of-distribution (OOD) data. This work
investigates whether this distribution moreover correlates with a model's
epistemic uncertainty, thus indicates its ability to generalise to novel
inputs. We first empirically verify that epistemic uncertainty can be
identified with the surprise, thus the negative log-likelihood, of observing a
particular latent representation. Moreover, we demonstrate that the
output-conditional distribution of hidden representations also allows
quantifying aleatoric uncertainty via the entropy of the predictive
distribution. We analyse epistemic and aleatoric uncertainty inferred from the
representations of different layers and conclude that deeper layers lead to
uncertainty with similar behaviour as established - but computationally more
expensive - methods (e.g. deep ensembles). While our approach does not require
modifying the training process, we follow prior work and experiment with an
additional regularising loss that increases the information in the latent
representations. We find that this leads to improved OOD detection of epistemic
uncertainty at the cost of ambiguous calibration close to the data
distribution. We verify our findings on both classification and regression
models.
- Abstract（参考訳）: ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は, この分布がモデルの不確実性と相関するかどうかを考察し, 新規入力に一般化する能力を示す。
まず,特定の潜在表現を観察することで,認識的不確かさと驚き,すなわち負のログ様相を識別できることを実証的に検証した。
さらに,隠れ表現の出力条件分布は,予測分布のエントロピーを通したアレタリック不確かさの定量化にも有効であることを示す。
我々は,異なる階層の表現から推定される認識論的不確実性を解析し,より深い層が定式化されているが計算コストが高い手法(例えば,計算量が多い)と類似した振る舞いを持つ不確実性をもたらすと結論づける。
深いアンサンブル)。
我々のアプローチではトレーニングプロセスを変更する必要はないが、事前の作業に従い、潜在表現の情報を増加させる追加の正規化損失を実験する。
その結果, データ分布に近い不明瞭なキャリブレーションを犠牲にして, OODの検出精度が向上することが判明した。
分類モデルと回帰モデルの両方について検討を行った。
関連論文リスト
- The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks [0.6906005491572401]
モデルのサイズとトレーニングセットのサイズに関する「最新の不確実性指標」の進化は、理論的な期待に反することを示します。
と呼ぶこの現象は、BDLの適用可能性全体を損なうというよりは、より問題となる。
論文 参考訳（メタデータ） (2024-07-02T06:54:46Z) - Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳（メタデータ） (2024-03-23T04:13:55Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Looking at the posterior: accuracy and uncertainty of neural-network
predictions [0.0]
予測精度はてんかんとアレタリック不確実性の両方に依存している。
本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
論文 参考訳（メタデータ） (2022-11-26T16:13:32Z) - Robust uncertainty estimates with out-of-distribution pseudo-inputs
training [0.0]
我々は、信頼性のあるデータを与えられていない不確実性予測器を明示的に訓練することを提案する。
データ無しでは訓練できないので、入力空間の情報的低密度領域において擬似入力を生成するメカニズムを提供する。
総合的な評価により、様々なタスクにおける最先端性能を維持しながら、不確実性の頑健かつ解釈可能な予測が得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T17:15:07Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z) - Aleatoric uncertainty for Errors-in-Variables models in deep regression [0.48733623015338234]
Errors-in-Variablesの概念がベイズ的深部回帰においてどのように利用できるかを示す。
様々なシミュレートされた実例に沿ったアプローチについて論じる。
論文 参考訳（メタデータ） (2021-05-19T12:37:02Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T23:50:35Z) - Posterior Network: Uncertainty Estimation without OOD Samples via
Density-Based Pseudo-Counts [33.45069308137142]
Posterior Network (PostNet) は、任意のサンプルに対する予測確率よりも、個々の閉形式後部分布を予測する。
PostNetは、OODの検出とデータセットシフトによる不確実なキャリブレーションにおいて、最先端の成果を達成する。
論文 参考訳（メタデータ） (2020-06-16T15:16:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。