論文の概要: Understanding the Robustness of Multi-Exit Models under Common
Corruptions
- arxiv url: http://arxiv.org/abs/2212.01562v1
- Date: Sat, 3 Dec 2022 07:33:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 15:57:00.626602
- Title: Understanding the Robustness of Multi-Exit Models under Common
Corruptions
- Title（参考訳）: 共通汚職下におけるマルチエクイットモデルのロバスト性理解
- Authors: Akshay Mehra, Skyler Seto, Navdeep Jaitly, Barry-John Theobald
- Abstract要約: マルチエクイットモデル(MEM)は、ディープニューラルネットワーク(DNN)の精度と効率を改善するために早期エクイット戦略を使用する。
本研究は, 画像劣化による分布変化がMEMの精度・効率に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 10.00433871374072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Exit models (MEMs) use an early-exit strategy to improve the accuracy
and efficiency of deep neural networks (DNNs) by allowing samples to exit the
network before the last layer. However, the effectiveness of MEMs in the
presence of distribution shifts remains largely unexplored. Our work examines
how distribution shifts generated by common image corruptions affect the
accuracy/efficiency of MEMs. We find that under common corruptions,
early-exiting at the first correct exit reduces the inference cost and provides
a significant boost in accuracy ( 10%) over exiting at the last layer. However,
with realistic early-exit strategies, which do not assume knowledge about the
correct exits, MEMs still reduce inference cost but provide a marginal
improvement in accuracy (1%) compared to exiting at the last layer. Moreover,
the presence of distribution shift widens the gap between an MEM's maximum
classification accuracy and realistic early-exit strategies by 5% on average
compared with the gap on in-distribution data. Our empirical analysis shows
that the lack of calibration due to a distribution shift increases the
susceptibility of such early-exit strategies to exit early and increases
misclassification rates. Furthermore, the lack of calibration increases the
inconsistency in the predictions of the model across exits, leading to both
inefficient inference and more misclassifications compared with evaluation on
in-distribution data. Finally, we propose two metrics, underthinking and
overthinking, that quantify the different behavior of practical early-exit
strategy under distribution shifts, and provide insights into improving the
practical utility of MEMs.
- Abstract（参考訳）: マルチエクイットモデル(MEM)は、サンプルを最終層の前にネットワークから脱出させることで、ディープニューラルネットワーク(DNN)の精度と効率を改善するために、早期エクイット戦略を使用する。
しかし, 分布シフトの存在下でのMEMsの有効性は未解明のままである。
本稿では, 画像劣化による分布変化がMEMの精度・効率に与える影響について検討する。
共通の腐敗の下では、最初の正しい出口での早期出動は推論コストを削減し、最終層での出入口よりも高い精度(10%)を提供する。
しかし、正確な出口に関する知識を想定しない現実的なアーリーイグジット戦略では、memsは推論コストを削減しつつも、最終層でのイグジットよりも精度を限界的に向上させる(1%)。
さらに,分布シフトの存在は,MEMの最大分類精度と実効初期戦略とのギャップを,分布内データとのギャップと比較して平均で5%拡大する。
実験分析の結果,分布シフトによるキャリブレーションの欠如は早期退去戦略の早期退去の可能性を高め,誤分類率を増大させることが示された。
さらに、キャリブレーションの欠如は、エグジット間のモデルの予測の不整合を増加させ、非効率な推論と、分散データの評価よりも誤分類の両方をもたらす。
最後に,分散シフト下での実用的アーリーエクイット戦略の異なる行動の定量化と,memsの実用的有用性向上への洞察を提供する2つの指標を提案する。
関連論文リスト
- Solving Prior Distribution Mismatch in Diffusion Models via Optimal Transport [24.90486913773359]
近年,拡散モデル(DM)に関する知識は著しく増大しているが,いくつかの理論的なギャップが残っている。
本稿では、最適輸送(OT)理論と離散初期分布を持つDMとの深い関係について検討する。
拡散終了時間が増加するにつれて、確率フローは古典モンジュ・アンペア方程式の解の勾配に指数関数的に収束する。
論文 参考訳（メタデータ） (2024-10-17T10:54:55Z) - Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties [3.269165283595478]
急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。
下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
論文 参考訳（メタデータ） (2024-08-02T15:00:04Z) - Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化
MTEは精度と不確実性の両方を同時に向上させることができる。
例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
論文 参考訳（メタデータ） (2024-05-30T03:15:59Z) - Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。
我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
論文 参考訳（メタデータ） (2024-04-17T23:37:50Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - SEMI-DiffusionInst: A Diffusion Model Based Approach for Semiconductor
Defect Classification and Segmentation [0.11999555634662631]
この研究は拡散モデルを用いて半導体欠陥パターンを正確に検出し、正確にセグメント化する最初の実演である。
提案手法は,mAP全体のこれまでの成果よりも優れており,ほぼすべての欠陥クラスに対して比較的優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-17T17:53:36Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳（メタデータ） (2021-07-07T15:50:18Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z) - Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。
本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。
提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
論文 参考訳（メタデータ） (2021-03-10T16:45:22Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。