論文の概要: Deeply Uncertain: Comparing Methods of Uncertainty Quantification in Deep Learning Algorithms

• arxiv url: http://arxiv.org/abs/2004.10710v3
• Date: Wed, 22 Jul 2020 17:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 17:47:01.186900
• Title: Deeply Uncertain: Comparing Methods of Uncertainty Quantification in Deep Learning Algorithms
• Title（参考訳）: 深層不確実性:深層学習アルゴリズムにおける不確実性定量化法の比較
• Authors: Jo\~ao Caldeira, Brian Nord
• Abstract要約: 最も一般的な不確実性定量化手法の3つは、標準的な解析誤差伝播と比較される。 この結果から,これらのUQ手法を用いた場合の落とし穴が浮かび上がっている。
• 参考スコア（独自算出の注目度）: 2.635832975589208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a comparison of methods for uncertainty quantification (UQ) in deep learning algorithms in the context of a simple physical system. Three of the most common uncertainty quantification methods - Bayesian Neural Networks (BNN), Concrete Dropout (CD), and Deep Ensembles (DE) - are compared to the standard analytic error propagation. We discuss this comparison in terms endemic to both machine learning ("epistemic" and "aleatoric") and the physical sciences ("statistical" and "systematic"). The comparisons are presented in terms of simulated experimental measurements of a single pendulum - a prototypical physical system for studying measurement and analysis techniques. Our results highlight some pitfalls that may occur when using these UQ methods. For example, when the variation of noise in the training set is small, all methods predicted the same relative uncertainty independently of the inputs. This issue is particularly hard to avoid in BNN. On the other hand, when the test set contains samples far from the training distribution, we found that no methods sufficiently increased the uncertainties associated to their predictions. This problem was particularly clear for CD. In light of these results, we make some recommendations for usage and interpretation of UQ methods.
• Abstract（参考訳）: 本稿では,単純な物理系の文脈における深層学習アルゴリズムにおける不確実性定量化法(uq)の比較を行った。 ベイズニューラルネットワーク(BNN)、コンクリート落下(CD)、Deep Ensembles(DE)の3つの最も一般的な不確実性定量化手法を標準解析誤差伝搬と比較した。 機械学習(epistemic とaleatoric)と物理科学(statistical と "systematic )の両方に固有性という用語でこの比較について論じる。 これらの比較は、1つの振り子(計測と分析技術を研究するための原型的物理システム)のシミュレーション実験的な測定で示される。 この結果から,これらのUQ手法を用いた場合の落とし穴が浮かび上がる。 例えば、トレーニングセット内のノイズの変動が小さい場合、全てのメソッドは入力とは独立に同じ相対的不確実性を予測する。 この問題は特にBNNでは避けがたい。 一方,テストセットにトレーニング分布から遠いサンプルが含まれている場合,その予測に関係する不確実性を十分に増大させる手法は存在しないことがわかった。 この問題は特にcdで明らかだった。 これらの結果を踏まえ、uqメソッドの使用と解釈についていくつか推奨する。

関連論文リスト

• Uncertainty Quantification with the Empirical Neural Tangent Kernel [12.388707890314539]
  トレーニング終了時のオーバーパラメータ化ネットワークに対するポストホックサンプリングに基づくUQ手法を提案する。 実験的なニューラルタンジェントカーネルを用いて,ガウス過程の後部を効果的に近似することを示した。 提案手法は, 計算効率の競合するアプローチ(多くの場合, 複数の要因によるコスト削減)に勝るだけでなく, 回帰処理と分類処理の両方において, 様々なUQ指標の最先端性能も維持できることを示す。
  論文  参考訳（メタデータ） (2025-02-05T04:01:34Z)
• The Statistical Accuracy of Neural Posterior and Likelihood Estimation [0.5825410941577592]
  我々はNPEとNLEの統計的挙動を詳細に調査する。 これらの手法は、近似ベイズ計算(ABC)やベイズ合成可能性(BSL)のような一般的な統計手法に類似した理論的保証があることを証明している。 この精度は計算コストが大幅に削減され,ABCやBSLよりも魅力的な近似が得られることが証明された。
  論文  参考訳（メタデータ） (2024-11-18T21:25:32Z)
• DeepUQ: Assessing the Aleatoric Uncertainties from two Deep Learning Methods [44.99833362998488]
  我々は,2つのUQ手法,Deep Ensembles (DE) とDeep Evidential Regression (DER) で測定されたアレタリック不確かさを系統的に比較した。 本手法は,0次元 (0D) と2次元 (2D) の両方のデータに着目し,UQ法が異なるデータ次元に対してどのように機能するかを検討する。 予測された不確実性は、2次元入力不確実性実験におけるUQ法と高雑音レベルの両方において最も正確である。
  論文  参考訳（メタデータ） (2024-11-13T13:11:49Z)
• Uncertainty Aware Neural Network from Similarity and Sensitivity [19.688986566942]
  感性認知を伴う類似サンプルを考慮したニューラルネットワーク学習手法を提案する。 感性を考慮した類似サンプルの分布を考慮した初期不確実性境界(UB)を構築する。 各サンプルに対してUBを見つけるためのすべてのステップに従うには、多くの計算とメモリアクセスが必要であるので、UB計算NNをトレーニングします。
  論文  参考訳（メタデータ） (2023-04-27T02:05:31Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Detangling robustness in high dimensions: composite versus model-averaged estimation [11.658462692891355]
  ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。 本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
  論文  参考訳（メタデータ） (2020-06-12T20:40:15Z)
• Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning [70.72363097550483]
  本研究では,画像分類における領域内不確実性に着目した。 そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
  論文  参考訳（メタデータ） (2020-02-15T23:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。