論文の概要: Know What You Don't Know: Selective Prediction for Early Exit DNNs

• arxiv url: http://arxiv.org/abs/2509.11520v1
• Date: Mon, 15 Sep 2025 02:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.123497
• Title: Know What You Don't Know: Selective Prediction for Early Exit DNNs
• Title（参考訳）: 知らないことを知る:初期のDNNの選別予測
• Authors: Divya Jyoti Bajpai, Manjesh Kumar Hanawal,
• Abstract要約: ディープニューラルネットワーク(DNN)の推論レイテンシと信頼性は、センシティブなタスクのような重要なアプリケーションにそれらをデプロイする際のボトルネックである。 Early Exit(EE) DNNは、予測されたクラスで高い信頼スコアを得た場合、中間層からサンプルを退避させることで、レイテンシの問題を克服する。 我々は、信頼できないサンプルの硬さをチェックすることで、この問題を克服するために選択予測(SP)を使用します。
• 参考スコア（独自算出の注目度）: 14.00844847268286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference latency and trustworthiness of Deep Neural Networks (DNNs) are the bottlenecks in deploying them in critical applications like sensitive tasks. Early Exit (EE) DNNs overcome the latency issues by allowing samples to exit from intermediary layers if they attain `high' confidence scores on the predicted class. However, the DNNs are known to exhibit overconfidence, which can lead to many samples exiting early and render EE strategies untrustworthy. We use Selective Prediction (SP) to overcome this issue by checking the `hardness' of the samples rather than just relying on the confidence score alone. We propose SPEED, a novel approach that uses Deferral Classifiers (DCs) at each layer to check the hardness of samples before performing EEs. Specifically, the DCs identify if a sample is hard to predict at an intermediary layer, leading to hallucination, and defer it to an expert. Early detection of hard samples for inference prevents the wastage of computational resources and improves trust by deferring the hard samples to the expert. We demonstrate that EE aided with SP improves both accuracy and latency. Our method minimizes the risk of wrong prediction by $50\%$ with a speedup of $2.05\times$ as compared to the final layer. The anonymized source code is available at https://github.com/Div290/SPEED
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の推論レイテンシと信頼性は、センシティブなタスクのような重要なアプリケーションにそれらをデプロイする際のボトルネックである。 Early Exit(EE) DNNは、予測されたクラスで‘高い’信頼スコアに達した場合、中間層からサンプルを退避させることで、遅延問題を克服する。 しかし、DNNは自信過剰であることが知られており、多くのサンプルが早期に離脱し、EE戦略を信頼できないものにすることにつながる可能性がある。 我々は、信頼スコアのみに頼るのではなく、サンプルの'硬さ'をチェックすることで、この問題を克服するために選択予測(SP)を使用します。 本稿では,各層にDeferral Classifiers (DC) を用いて,脳波の前にサンプルの硬さをチェックする新しい手法であるSPEEDを提案する。 特に、DCは、サンプルが中間層で予測し難いかどうかを特定し、幻覚につながり、それを専門家に委ねる。 推論のためのハードサンプルの早期検出は、計算資源の浪費を防止し、ハードサンプルを専門家に延期することで信頼性を向上させる。 私たちは、EEがSPで助けられ、正確性とレイテンシの両方を改善します。 提案手法は, 最終層と比較して, 誤差予測のリスクを50 %=2.05 の高速化で最小化する。 匿名のソースコードはhttps://github.com/Div290/SPEEDで入手できる。

関連論文リスト

• Cautious Next Token Prediction [62.74127603725369]
  我々は、CNTP(Cautious Next Token Prediction)と呼ばれる新しいトレーニングフリーデコード戦略を提案する。 復号過程において、モデルが特定のステップで比較的高い予測エントロピーを持つ場合、独立にステップから始まる複数の試行をサンプリングし、句読点に遭遇する際に停止する。 提案するCNTPアプローチは,既存の標準復号方式よりも明確なマージンで一貫した性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-07-03T05:49:18Z)
• BEEM: Boosting Performance of Early Exit DNNs using Multi-Exit Classifiers as Experts [5.402030962296633]
  ディープニューラルネットワーク(DNN)における推論遅延を低減する手段として、初期のExitテクニックが登場した。 本稿では,出口分類器を専門家のBEEMとして扱い,信頼性スコアを集計する新たな意思決定基準を提案する。 提案手法は最先端のEE手法の性能を向上し,1.5倍から2.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-02-02T10:35:19Z)
• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees [36.14499894307206]
  スパイキングニューラルネットワーク(SNN)は、内部イベント駆動型ニューラルネットワークを通じて時系列データを処理する。 本稿では,入力依存停止時に発生する決定に対して,信頼性を保証する新しい遅延適応型SNNベースの推論手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T22:11:04Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Iterative Pseudo-Labeling with Deep Feature Annotation and Confidence-Based Sampling [127.46527972920383]
  大規模で注釈付きデータセットが利用できない場合には、ディープニューラルネットワークのトレーニングは難しい。 我々は、最も確実な教師なしサンプルを選択して、深層ニューラルネットワークを反復的に訓練することで、最近の反復的擬似ラベル技術であるDeep Featureを改善した。 まず最初に、自己学習されたディープニューラルネットワークであるベースラインの最適な設定を確認し、異なる信頼しきい値に対してDeepFAを評価する。
  論文  参考訳（メタデータ） (2021-09-06T20:02:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。