論文の概要: Anytime-Valid Confidence Sequences for Consistent Uncertainty Estimation in Early-Exit Neural Networks

• arxiv url: http://arxiv.org/abs/2311.05931v1
• Date: Fri, 10 Nov 2023 08:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 15:28:58.541670
• Title: Anytime-Valid Confidence Sequences for Consistent Uncertainty Estimation in Early-Exit Neural Networks
• Title（参考訳）: 早期ニューラルネットワークにおける不確実性推定のためのanytime-valid confidence sequence
• Authors: Metod Jazbec and Patrick Forr\'e and Stephan Mandt and Dan Zhang and Eric Nalisnick
• Abstract要約: 早期排他ニューラルネットワーク(EENN)は、前方通過の複数の段階で予測を生成することで適応推論を促進する。 ベイズ法のような標準的な不確実性技術は出口間の不整合をもたらす可能性があることを示す。 本稿では,EENNの出口にAVCS(time-valid confidence sequence)を適用することで,この問題に対処する。
• 参考スコア（独自算出の注目度）: 18.989912217244818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early-exit neural networks (EENNs) facilitate adaptive inference by producing predictions at multiple stages of the forward pass. In safety-critical applications, these predictions are only meaningful when complemented with reliable uncertainty estimates. Yet, due to their sequential structure, an EENN's uncertainty estimates should also be consistent: labels that are deemed improbable at one exit should not reappear within the confidence interval / set of later exits. We show that standard uncertainty quantification techniques, like Bayesian methods or conformal prediction, can lead to inconsistency across exits. We address this problem by applying anytime-valid confidence sequences (AVCSs) to the exits of EENNs. By design, AVCSs maintain consistency across exits. We examine the theoretical and practical challenges of applying AVCSs to EENNs and empirically validate our approach on both regression and classification tasks.
• Abstract（参考訳）: 早期排他ニューラルネットワーク(EENN)は、前方通過の複数の段階で予測を生成することで適応推論を促進する。 安全クリティカルなアプリケーションでは、これらの予測は信頼できる不確実性の推定を補完するときにのみ意味を持つ。 しかし、そのシーケンシャルな構造のため、eennの不確実性の推定も一貫性を持つべきである: 1つの出口で不可能であると考えられるラベルは、後の出口の信頼区間/セット内に再出現してはならない。 ベイズ法や共形予測法のような標準不確実性定量化手法は,出口間の不整合につながる可能性がある。 本稿では,EENNの出口にAVCS(time-valid confidence sequence)を適用することでこの問題に対処する。 設計上、AVCSは出口間の一貫性を維持している。 本稿では,AVCSをEENNに適用する理論的,実践的な課題について検討し,回帰タスクと分類タスクの両方に対するアプローチを実証的に検証する。

関連論文リスト

• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• RoCP-GNN: Robust Conformal Prediction for Graph Neural Networks in Node-Classification [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの結果を予測する強力なツールとして登場した。 この問題に対処する一つの方法は、事前に定義された確率マージンを持つ真のラベルを含む予測セットを提供することである。 我々は,GNNに対するロバスト・コンフォーマル予測(RoCP-GNN)と呼ばれる新しい手法を提案する。 我々のアプローチはグラフベース半教師付き学習(SSL)の領域における予測の不確実性を定量化しながら、任意の予測的GNNモデルで結果を確実に予測する。
  論文  参考訳（メタデータ） (2024-08-25T12:51:19Z)
• Addressing Prediction Delays in Time Series Forecasting: A Continuous GRU Approach with Derivative Regularization [27.047129496488292]
  地中構造観測を成功させる予測は、MSEが低いとしても実用的には意味がない。 本稿では,ニューラル常微分方程式(NODE)に基づく連続時間ゲートリカレントユニット(GRU)を導入する。 我々の手法は、MSE、動的時間ワープ(DTW)、時間歪み指数(TDI)などの指標で優れています。
  論文  参考訳（メタデータ） (2024-06-29T05:36:04Z)
• Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
  コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。 我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。 SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
  論文  参考訳（メタデータ） (2023-10-10T08:54:14Z)
• Pedestrian Trajectory Forecasting Using Deep Ensembles Under Sensing Uncertainty [125.41260574344933]
  エンコーダ・デコーダをベースとした深層アンサンブルネットワークは,認識と予測の不確実性の両方を同時に捕捉する。 全体として、深層アンサンブルはより堅牢な予測を提供し、上流の不確実性の考慮により、モデルの推定精度をさらに高めた。
  論文  参考訳（メタデータ） (2023-05-26T04:27:48Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Comparing Sequential Forecasters [35.38264087676121]
  2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。 オンラインでもポストホックでも、予測と結果がどのように生成されたかの検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか? 予測スコアの時間差を推定するための新しい逐次推論手法を提案する。 実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2021-09-30T22:54:46Z)
• Estimation with Uncertainty via Conditional Generative Adversarial Networks [3.829070379776576]
  条件付き生成逆数ネットワーク(cGAN)におけるジェネレータの使い方が異なる予測確率型ニューラルネットワークモデルを提案する。 通常のcGANの入力と出力を反転させることで、モデルを予測モデルとしてうまく利用することができる。 さらに,予測の不確実性を測定するために,回帰問題や分類問題に対するエントロピーと相対エントロピーを導入する。
  論文  参考訳（メタデータ） (2020-07-01T08:54:17Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。