論文の概要: Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection

• arxiv url: http://arxiv.org/abs/2506.17249v1
• Date: Sun, 08 Jun 2025 05:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.823796
• Title: Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection
• Title（参考訳）: ヌル空間投影による信頼早期退避予測の精度向上
• Authors: Jianing He, Qi Zhang, Duoqian Miao, Yi Kun, Shufeng Hao, Hongyun Zhang, Zhihua Wei,
• Abstract要約: 本稿では,Certainty-Aware Probability (CAP)スコアに基づく新しい早期退避手法を提案する。 本研究では,各タスクの平均高速化率は2.19倍であり,性能劣化は無視できることを示す。
• 参考スコア（独自算出の注目度）: 16.838728310658105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early exiting has demonstrated great potential in accelerating the inference of pre-trained language models (PLMs) by enabling easy samples to exit at shallow layers, eliminating the need for executing deeper layers. However, existing early exiting methods primarily rely on class-relevant logits to formulate their exiting signals for estimating prediction certainty, neglecting the detrimental influence of class-irrelevant information in the features on prediction certainty. This leads to an overestimation of prediction certainty, causing premature exiting of samples with incorrect early predictions. To remedy this, we define an NSP score to estimate prediction certainty by considering the proportion of class-irrelevant information in the features. On this basis, we propose a novel early exiting method based on the Certainty-Aware Probability (CAP) score, which integrates insights from both logits and the NSP score to enhance prediction certainty estimation, thus enabling more reliable exiting decisions. The experimental results on the GLUE benchmark show that our method can achieve an average speed-up ratio of 2.19x across all tasks with negligible performance degradation, surpassing the state-of-the-art (SOTA) ConsistentEE by 28%, yielding a better trade-off between task performance and inference efficiency. The code is available at https://github.com/He-Jianing/NSP.git.
• Abstract（参考訳）: 早期退避は、浅い層で容易にサンプルを退避させ、より深い層を実行する必要をなくすことで、事前訓練された言語モデル(PLM)の推論を加速する大きな可能性を示している。 しかし、既存の早期退避法は、主にクラス関連ロジットに頼り、予測確実性を推定するために退避信号を定式化し、特徴量におけるクラス関連情報の有害な影響を無視する。 これにより予測精度が過大評価され、誤った早期予測を伴うサンプルが早期に放出される。 これを解決するため,NSPスコアを定義し,特徴量のクラス関連情報の比率を考慮し,予測精度を推定する。 そこで本研究では,ロジットとNSPスコアの両方からの洞察を統合し,予測確実性推定を強化し,より信頼性の高い退避判定を可能にする,Certainty-Aware Probability (CAP)スコアに基づく新たな早期退避手法を提案する。 GLUEベンチマークによる実験結果から,各タスクの平均スピードアップ比が2.19倍に向上し,SOTA(State-of-the-art (SOTA) ConsistentEEが28%向上し,タスク性能と推論効率のトレードオフが改善された。 コードはhttps://github.com/He-Jianing/NSP.gitで入手できる。

関連論文リスト

• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on Prototypical Networks [43.967626080432275]
  BERT(DE$3$-BERT)のための新しい遠隔拡張早期実行フレームワークを提案する。 我々は,古典的エントロピーに基づく地域情報と距離に基づくグローバル情報とを補完するハイブリッドエグジット戦略を実装した。 GLUEベンチマークの実験では、De$3$-BERTが最先端モデルより一貫して優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-03T15:51:17Z)
• SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
  SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。 具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。 我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-25T03:33:45Z)
• Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
  我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。 具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。 提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
  論文  参考訳（メタデータ） (2023-10-25T02:37:51Z)
• LMD: Light-weight Prediction Quality Estimation for Object Detection in Lidar Point Clouds [3.927702899922668]
  Lidarのクラウドデータのオブジェクト検出は、自動運転とロボット工学にとって有望な技術だ。 不確実性推定は下流タスクにとって重要な要素であり、ディープニューラルネットワークは信頼性の高い予測であってもエラーを起こしやすい。 予測品質推定のための軽量後処理方式LidarMetaDetectを提案する。 本実験は,偽予測から真を分離する際の統計的信頼性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-06-13T15:13:29Z)
• Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
  コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。 我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
  論文  参考訳（メタデータ） (2023-05-23T17:24:04Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Evaluation of Machine Learning Techniques for Forecast Uncertainty Quantification [0.13999481573773068]
  アンサンブル予測は、これまでのところ、関連する予測を生成するための最も成功したアプローチであり、その不確実性を見積もっている。 アンサンブル予測の主な制限は、高い計算コストと異なる不確実性の源を捕捉し定量化することの難しさである。 本研究は,1つの決定論的予測のみを入力として,システムの修正状態と状態不確かさを予測するために訓練されたANNの性能を評価するための概念モデル実験である。
  論文  参考訳（メタデータ） (2021-11-29T16:52:17Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。