論文の概要: Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions

• arxiv url: http://arxiv.org/abs/2007.13481v1
• Date: Mon, 29 Jun 2020 13:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 14:04:15.560005
• Title: Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions
• Title（参考訳）: 差別的ジャックナイフ:高次影響関数による深層学習の不確かさの定量化
• Authors: Ahmed M. Alaa, Mihaela van der Schaar
• Abstract要約: 我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
• 参考スコア（独自算出の注目度）: 121.10450359856242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models achieve high predictive accuracy across a broad spectrum of tasks, but rigorously quantifying their predictive uncertainty remains challenging. Usable estimates of predictive uncertainty should (1) cover the true prediction targets with high probability, and (2) discriminate between high- and low-confidence prediction instances. Existing methods for uncertainty quantification are based predominantly on Bayesian neural networks; these may fall short of (1) and (2) -- i.e., Bayesian credible intervals do not guarantee frequentist coverage, and approximate posterior inference undermines discriminative accuracy. In this paper, we develop the discriminative jackknife (DJ), a frequentist procedure that utilizes influence functions of a model's loss functional to construct a jackknife (or leave-one-out) estimator of predictive confidence intervals. The DJ satisfies (1) and (2), is applicable to a wide range of deep learning models, is easy to implement, and can be applied in a post-hoc fashion without interfering with model training or compromising its accuracy. Experiments demonstrate that DJ performs competitively compared to existing Bayesian and non-Bayesian regression baselines.
• Abstract（参考訳）: ディープラーニングモデルは幅広いタスクにわたって高い予測精度を達成するが、予測の不確実性を厳密に定量化することは依然として困難である。 予測の不確実性の予測は,(1)真の予測対象を高い確率でカバーし,(2)高信頼と低信頼の予測インスタンスを識別する。 既存の不確実性定量化の方法は、主にベイズニューラルネットワークに基づいており、(1) と (2) の不足、すなわちベイズ的信頼区間は頻繁なカバレッジを保証せず、近似的な後部推論は識別精度を損なう。 本稿では,モデルの損失関数の影響関数を利用して,予測信頼区間のjackknife(またはleft-one-out)推定器を構築する手法であるjackknife(dj)を開発した。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。 実験により、djは既存のベイズ回帰ベースラインと非ベイズ回帰ベースラインとを比較できることを示した。

関連論文リスト

• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
  ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。 我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-05-12T05:08:10Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Locally Valid and Discriminative Confidence Intervals for Deep Learning Models [37.57296694423751]
  不確実性情報は有効(保証対象)で差別的(予想されるリスクが高い場合にさらに不確実)でなければならない 既存のベイジアン法の多くは、頻繁なカバレッジ保証がなく、通常モデルのパフォーマンスに影響を与える。 ほぼどんな深層学習モデルに対しても,識別的信頼区間(CI)を構築するための簡易かつ効率的かつ軽量な手法であるLVD(Locally Valid and Discriminative confidence intervals)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T04:39:56Z)
• Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records [30.65770563934045]
  我々はディープ・ベイズ学習フレームワークの特徴とディープ・カーネル・ラーニングを融合させ、より包括的な不確実性推定に両手法の強みを活用する。 我々は,不均衡なデータセットにおけるマイノリティクラスにおいて,過度に信頼された予測を行うことに対して,我々の手法はより感受性が低いことを示す。
  論文  参考訳（メタデータ） (2020-03-23T10:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。