論文の概要: Early-Exit Neural Networks with Nested Prediction Sets

• arxiv url: http://arxiv.org/abs/2311.05931v2
• Date: Sun, 2 Jun 2024 17:17:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:31:18.041782
• Title: Early-Exit Neural Networks with Nested Prediction Sets
• Title（参考訳）: ネスト予測セットを用いた初期出力ニューラルネットワーク
• Authors: Metod Jazbec, Patrick Forré, Stephan Mandt, Dan Zhang, Eric Nalisnick,
• Abstract要約: アーリーエグジットニューラルネットワーク(EENN)は、フォワードパス中に複数のステージで予測を提供することで、適応的で効率的な推論を可能にする。 共形予測や信頼できる集合といった標準的なベイズ的手法はEENNには適さない。 時効性信頼シーケンス(AVCS)について検討する。 これらのシーケンスは本質的にネストされており、EENNのシーケンシャルな予測に適している。
• 参考スコア（独自算出の注目度）: 26.618810100134862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early-exit neural networks (EENNs) enable adaptive and efficient inference by providing predictions at multiple stages during the forward pass. In safety-critical applications, these predictions are meaningful only when accompanied by reliable uncertainty estimates. A popular method for quantifying the uncertainty of predictive models is the use of prediction sets. However, we demonstrate that standard techniques such as conformal prediction and Bayesian credible sets are not suitable for EENNs. They tend to generate non-nested sets across exits, meaning that labels deemed improbable at one exit may reappear in the prediction set of a subsequent exit. To address this issue, we investigate anytime-valid confidence sequences (AVCSs), an extension of traditional confidence intervals tailored for data-streaming scenarios. These sequences are inherently nested and thus well-suited for an EENN's sequential predictions. We explore the theoretical and practical challenges of using AVCSs in EENNs and show that they indeed yield nested sets across exits. Thus our work presents a promising approach towards fast, yet still safe, predictive modeling
• Abstract（参考訳）: アーリーエグジットニューラルネットワーク(EENN)は、フォワードパス中に複数のステージで予測を提供することで、適応的で効率的な推論を可能にする。 安全クリティカルなアプリケーションでは、これらの予測は信頼性のある不確実性推定を伴う場合にのみ意味を持つ。 予測モデルの不確実性を定量化する一般的な方法は、予測セットの使用である。 しかし,共形予測やベイズ的信頼集合などの標準手法はEENNには適さないことを示す。 彼らは出口にまたがって非ネステッドな集合を生成する傾向があり、つまり、ラベルが1つの出口で不可能なと見なされることは、その後の出口の予測セットに再び現れる可能性がある。 この問題に対処するために,データストリーミングシナリオに適した従来型の信頼区間の拡張であるAVCS(Anytime-valid confidence sequences)について検討する。 これらのシーケンスは本質的にネストされており、EENNのシーケンシャルな予測に適している。 我々は、EENNでAVCSを使うことの理論的および実践的な課題を探求し、出口をまたいだネストセットが実際に得られることを示す。 ですから我々の研究は、高速で、安全で、予測可能なモデリングへの有望なアプローチを示します。

関連論文リスト

• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• RoCP-GNN: Robust Conformal Prediction for Graph Neural Networks in Node-Classification [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの結果を予測する強力なツールとして登場した。 この問題に対処する一つの方法は、事前に定義された確率マージンを持つ真のラベルを含む予測セットを提供することである。 我々は,GNNに対するロバスト・コンフォーマル予測(RoCP-GNN)と呼ばれる新しい手法を提案する。 我々のアプローチはグラフベース半教師付き学習(SSL)の領域における予測の不確実性を定量化しながら、任意の予測的GNNモデルで結果を確実に予測する。
  論文  参考訳（メタデータ） (2024-08-25T12:51:19Z)
• Addressing Prediction Delays in Time Series Forecasting: A Continuous GRU Approach with Derivative Regularization [27.047129496488292]
  地中構造観測を成功させる予測は、MSEが低いとしても実用的には意味がない。 本稿では,ニューラル常微分方程式(NODE)に基づく連続時間ゲートリカレントユニット(GRU)を導入する。 我々の手法は、MSE、動的時間ワープ(DTW)、時間歪み指数(TDI)などの指標で優れています。
  論文  参考訳（メタデータ） (2024-06-29T05:36:04Z)
• Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
  コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。 我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。 SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
  論文  参考訳（メタデータ） (2023-10-10T08:54:14Z)
• Pedestrian Trajectory Forecasting Using Deep Ensembles Under Sensing Uncertainty [125.41260574344933]
  エンコーダ・デコーダをベースとした深層アンサンブルネットワークは,認識と予測の不確実性の両方を同時に捕捉する。 全体として、深層アンサンブルはより堅牢な予測を提供し、上流の不確実性の考慮により、モデルの推定精度をさらに高めた。
  論文  参考訳（メタデータ） (2023-05-26T04:27:48Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Comparing Sequential Forecasters [35.38264087676121]
  2つの予測器を考えてみましょう。それぞれが時間とともに一連のイベントを予測します。 オンラインでもポストホックでも、予測と結果がどのように生成されたかの検証不可能な仮定を避けながら、これらの予測をどのように比較すればよいのか? 予測スコアの時間差を推定するための新しい逐次推論手法を提案する。 実世界の野球と天気予報機を比較することで,我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2021-09-30T22:54:46Z)
• Estimation with Uncertainty via Conditional Generative Adversarial Networks [3.829070379776576]
  条件付き生成逆数ネットワーク(cGAN)におけるジェネレータの使い方が異なる予測確率型ニューラルネットワークモデルを提案する。 通常のcGANの入力と出力を反転させることで、モデルを予測モデルとしてうまく利用することができる。 さらに,予測の不確実性を測定するために,回帰問題や分類問題に対するエントロピーと相対エントロピーを導入する。
  論文  参考訳（メタデータ） (2020-07-01T08:54:17Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。