論文の概要: Anytime-Valid Confidence Sequences for Consistent Uncertainty Estimation
in Early-Exit Neural Networks
- arxiv url: http://arxiv.org/abs/2311.05931v1
- Date: Fri, 10 Nov 2023 08:38:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 15:28:58.541670
- Title: Anytime-Valid Confidence Sequences for Consistent Uncertainty Estimation
in Early-Exit Neural Networks
- Title(参考訳): 早期ニューラルネットワークにおける不確実性推定のためのanytime-valid confidence sequence
- Authors: Metod Jazbec and Patrick Forr\'e and Stephan Mandt and Dan Zhang and
Eric Nalisnick
- Abstract要約: 早期排他ニューラルネットワーク(EENN)は、前方通過の複数の段階で予測を生成することで適応推論を促進する。
ベイズ法のような標準的な不確実性技術は出口間の不整合をもたらす可能性があることを示す。
本稿では,EENNの出口にAVCS(time-valid confidence sequence)を適用することで,この問題に対処する。
- 参考スコア(独自算出の注目度): 18.989912217244818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Early-exit neural networks (EENNs) facilitate adaptive inference by producing
predictions at multiple stages of the forward pass. In safety-critical
applications, these predictions are only meaningful when complemented with
reliable uncertainty estimates. Yet, due to their sequential structure, an
EENN's uncertainty estimates should also be consistent: labels that are deemed
improbable at one exit should not reappear within the confidence interval / set
of later exits. We show that standard uncertainty quantification techniques,
like Bayesian methods or conformal prediction, can lead to inconsistency across
exits. We address this problem by applying anytime-valid confidence sequences
(AVCSs) to the exits of EENNs. By design, AVCSs maintain consistency across
exits. We examine the theoretical and practical challenges of applying AVCSs to
EENNs and empirically validate our approach on both regression and
classification tasks.
- Abstract(参考訳): 早期排他ニューラルネットワーク(EENN)は、前方通過の複数の段階で予測を生成することで適応推論を促進する。
安全クリティカルなアプリケーションでは、これらの予測は信頼できる不確実性の推定を補完するときにのみ意味を持つ。
しかし、そのシーケンシャルな構造のため、eennの不確実性の推定も一貫性を持つべきである: 1つの出口で不可能であると考えられるラベルは、後の出口の信頼区間/セット内に再出現してはならない。
ベイズ法や共形予測法のような標準不確実性定量化手法は,出口間の不整合につながる可能性がある。
本稿では,EENNの出口にAVCS(time-valid confidence sequence)を適用することでこの問題に対処する。
設計上、AVCSは出口間の一貫性を維持している。
本稿では,AVCSをEENNに適用する理論的,実践的な課題について検討し,回帰タスクと分類タスクの両方に対するアプローチを実証的に検証する。
関連論文リスト
- Uncertainty Aware Tropical Cyclone Wind Speed Estimation from Satellite Data [1.4431283765171916]
深部ニューラルネットワーク(DNN)は、地球観測(EO)データに適用され、新しい研究の道を開いた。
本研究は, 熱帯低気圧衛星画像の風速推定に応用したDNNの不確実性定量法に関する理論的, 定量的比較を行った。
その結果, 予測不確実性を利用して精度を向上し, 各種手法の予測不確実性を分析することができた。
論文 参考訳(メタデータ) (2024-04-12T08:35:38Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Score Matching-based Pseudolikelihood Estimation of Neural Marked
Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。
具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。
提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文 参考訳(メタデータ) (2023-10-25T02:37:51Z) - Ensemble Neural Networks for Remaining Useful Life (RUL) Prediction [0.39287497907611874]
メンテナンス計画の中核となる部分は、健康と劣化に関する優れた予後を提供する監視システムである。
本稿では,確率論的RUL予測のためのアンサンブルニューラルネットワークを提案する。
この方法はNASAのターボファンジェットエンジンであるCMAPSSのデータセットで試験される。
論文 参考訳(メタデータ) (2023-09-21T19:38:44Z) - Discretization-Induced Dirichlet Posterior for Robust Uncertainty
Quantification on Regression [17.49026509916207]
不確実性定量化は、現実世界のアプリケーションにディープニューラルネットワーク(DNN)をデプロイするために重要である。
視覚回帰タスクでは、現在のAuxUE設計は、主にアレタリック不確実性推定に採用されている。
回帰タスクにおけるより堅牢な不確実性定量化のための一般化されたAuxUEスキームを提案する。
論文 参考訳(メタデータ) (2023-08-17T15:54:11Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳(メタデータ) (2022-05-20T10:10:32Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳(メタデータ) (2021-05-28T09:23:05Z) - Fail-Safe Execution of Deep Learning based Systems through Uncertainty
Monitoring [4.56877715768796]
フェールセーフなディープラーニングベースシステム(DLS)は、スーパーバイザーによってDNNの障害を処理する。
本稿では,DNNの不確実性推定器を用いて,そのようなスーパーバイザを実装する手法を提案する。
通常のtf.keras DNNに対する不確かさを透過的に推定できるツールUNCERTAINTY-WIZARDについて述べる。
論文 参考訳(メタデータ) (2021-02-01T15:22:54Z) - A Comparison of Uncertainty Estimation Approaches in Deep Learning
Components for Autonomous Vehicle Applications [0.0]
自律走行車(AV)の安全性を確保する主要な要因は、望ましくない、予測できない状況下での異常な行動を避けることである。
データやモデルにおける不確実性の定量化のための様々な手法が近年提案されている。
これらの手法では、高い計算負荷、高いメモリフットプリント、余分なレイテンシが要求され、安全クリティカルなアプリケーションでは禁止される。
論文 参考訳(メタデータ) (2020-06-26T18:55:10Z) - Frequentist Uncertainty in Recurrent Neural Networks via Blockwise
Influence Functions [121.10450359856242]
リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。
RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。
a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
論文 参考訳(メタデータ) (2020-06-20T22:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。