論文の概要: Deeply Uncertain: Comparing Methods of Uncertainty Quantification in Deep Learning Algorithms

• arxiv url: http://arxiv.org/abs/2004.10710v3
• Date: Wed, 22 Jul 2020 17:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 17:47:01.186900
• Title: Deeply Uncertain: Comparing Methods of Uncertainty Quantification in Deep Learning Algorithms
• Title（参考訳）: 深層不確実性:深層学習アルゴリズムにおける不確実性定量化法の比較
• Authors: Jo\~ao Caldeira, Brian Nord
• Abstract要約: 最も一般的な不確実性定量化手法の3つは、標準的な解析誤差伝播と比較される。 この結果から,これらのUQ手法を用いた場合の落とし穴が浮かび上がっている。
• 参考スコア（独自算出の注目度）: 2.635832975589208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a comparison of methods for uncertainty quantification (UQ) in deep learning algorithms in the context of a simple physical system. Three of the most common uncertainty quantification methods - Bayesian Neural Networks (BNN), Concrete Dropout (CD), and Deep Ensembles (DE) - are compared to the standard analytic error propagation. We discuss this comparison in terms endemic to both machine learning ("epistemic" and "aleatoric") and the physical sciences ("statistical" and "systematic"). The comparisons are presented in terms of simulated experimental measurements of a single pendulum - a prototypical physical system for studying measurement and analysis techniques. Our results highlight some pitfalls that may occur when using these UQ methods. For example, when the variation of noise in the training set is small, all methods predicted the same relative uncertainty independently of the inputs. This issue is particularly hard to avoid in BNN. On the other hand, when the test set contains samples far from the training distribution, we found that no methods sufficiently increased the uncertainties associated to their predictions. This problem was particularly clear for CD. In light of these results, we make some recommendations for usage and interpretation of UQ methods.
• Abstract（参考訳）: 本稿では,単純な物理系の文脈における深層学習アルゴリズムにおける不確実性定量化法(uq)の比較を行った。 ベイズニューラルネットワーク(BNN)、コンクリート落下(CD)、Deep Ensembles(DE)の3つの最も一般的な不確実性定量化手法を標準解析誤差伝搬と比較した。 機械学習(epistemic とaleatoric)と物理科学(statistical と "systematic )の両方に固有性という用語でこの比較について論じる。 これらの比較は、1つの振り子(計測と分析技術を研究するための原型的物理システム)のシミュレーション実験的な測定で示される。 この結果から,これらのUQ手法を用いた場合の落とし穴が浮かび上がる。 例えば、トレーニングセット内のノイズの変動が小さい場合、全てのメソッドは入力とは独立に同じ相対的不確実性を予測する。 この問題は特にBNNでは避けがたい。 一方,テストセットにトレーニング分布から遠いサンプルが含まれている場合,その予測に関係する不確実性を十分に増大させる手法は存在しないことがわかった。 この問題は特にcdで明らかだった。 これらの結果を踏まえ、uqメソッドの使用と解釈についていくつか推奨する。

関連論文リスト

• A General Framework for Uncertainty Quantification via Neural SDE-RNN [0.3314882635954751]
  不確かさの定量化は、ディープラーニングにとって批判的だが未解決の課題である。 本稿では, 再帰型ニューラルネットワークとニューラルディファレンシャル方程式の原理を基礎として, 不規則なサンプル計測を再現する新しい枠組みを提案する。 IEEE 37バステストシステムを用いた実験により,我々のフレームワークは時系列データ計算における最先端の不確実性定量化手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T22:59:45Z)
• Uncertainty Aware Neural Network from Similarity and Sensitivity [19.688986566942]
  感性認知を伴う類似サンプルを考慮したニューラルネットワーク学習手法を提案する。 感性を考慮した類似サンプルの分布を考慮した初期不確実性境界(UB)を構築する。 各サンプルに対してUBを見つけるためのすべてのステップに従うには、多くの計算とメモリアクセスが必要であるので、UB計算NNをトレーニングします。
  論文  参考訳（メタデータ） (2023-04-27T02:05:31Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Expectation propagation on the diluted Bayesian classifier [0.0]
  本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。 予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。 EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
  論文  参考訳（メタデータ） (2020-09-20T23:59:44Z)
• Detangling robustness in high dimensions: composite versus model-averaged estimation [11.658462692891355]
  ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。 本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
  論文  参考訳（メタデータ） (2020-06-12T20:40:15Z)
• Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning [70.72363097550483]
  本研究では,画像分類における領域内不確実性に着目した。 そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
  論文  参考訳（メタデータ） (2020-02-15T23:28:19Z)
• On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation [27.077741143188867]
  本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。 選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
  論文  参考訳（メタデータ） (2020-01-22T15:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。