論文の概要: FAST: Boosting Uncertainty-based Test Prioritization Methods for Neural Networks via Feature Selection
- arxiv url: http://arxiv.org/abs/2409.09130v1
- Date: Fri, 13 Sep 2024 18:13:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 22:09:06.818640
- Title: FAST: Boosting Uncertainty-based Test Prioritization Methods for Neural Networks via Feature Selection
- Title（参考訳）: FAST: 特徴選択によるニューラルネットワークの不確かさに基づくテスト優先化手法
- Authors: Jialuo Chen, Jingyi Wang, Xiyue Zhang, Youcheng Sun, Marta Kwiatkowska, Jiming Chen, Peng Cheng,
- Abstract要約: 本稿では,FeAture SelecTionをガイドとして,既存の優先順位付け手法を高速化するFASTを提案する。
FASTは、特定の機能がモデルの出力信頼度に影響を与えるノイズをもたらす可能性があるという洞察に基づいている。
モデルの正しい予測に対する各特徴の重要性を定量化し、ノイズのある特徴から動的に情報を抽出する。
- 参考スコア（独自算出の注目度）: 29.20073572683383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the vast testing space, the increasing demand for effective and efficient testing of deep neural networks (DNNs) has led to the development of various DNN test case prioritization techniques. However, the fact that DNNs can deliver high-confidence predictions for incorrectly predicted examples, known as the over-confidence problem, causes these methods to fail to reveal high-confidence errors. To address this limitation, in this work, we propose FAST, a method that boosts existing prioritization methods through guided FeAture SelecTion. FAST is based on the insight that certain features may introduce noise that affects the model's output confidence, thereby contributing to high-confidence errors. It quantifies the importance of each feature for the model's correct predictions, and then dynamically prunes the information from the noisy features during inference to derive a new probability vector for the uncertainty estimation. With the help of FAST, the high-confidence errors and correctly classified examples become more distinguishable, resulting in higher APFD (Average Percentage of Fault Detection) values for test prioritization, and higher generalization ability for model enhancement. We conduct extensive experiments to evaluate FAST across a diverse set of model structures on multiple benchmark datasets to validate the effectiveness, efficiency, and scalability of FAST compared to the state-of-the-art prioritization techniques.
- Abstract（参考訳）: 膨大なテストスペースのため、ディープニューラルネットワーク(DNN)の効率的かつ効率的なテストに対する需要が高まっており、様々なDNNテストケース優先順位付け技術が開発されている。
しかし、DNNが過信問題として知られる誤った予測された事例に対して高信頼の予測を行うことができるという事実は、これらの手法が高信頼の誤りを明らかにするのに失敗する原因となる。
この制限に対処するため、本研究では、FeAture SelecTionをガイドとした既存の優先順位付け手法であるFASTを提案する。
FASTは、特定の機能がモデルの出力信頼度に影響を与えるノイズを導入し、高い信頼度エラーにつながるという洞察に基づいている。
モデルの正しい予測に対する各特徴の重要性を定量化し、それから推論中にノイズのある特徴から動的に情報を抽出し、不確実性推定のための新しい確率ベクトルを導出する。
FASTの助けを借りて、高い信頼度エラーと正しく分類された例はより識別しやすくなり、テスト優先化のためのAPFD(Average Percentage of Fault Detection)値が向上し、モデル拡張のための高度な一般化能力がもたらされる。
我々は、FASTの有効性、効率、スケーラビリティを、最先端の優先順位付け技術と比較して検証するために、複数のベンチマークデータセット上で、FASTを多種多様なモデル構造で評価する広範囲な実験を行った。
関連論文リスト
- Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - SURE: SUrvey REcipes for building reliable and robust deep networks [12.268921703825258]
本稿では,深層ニューラルネットワークにおける不確実性推定手法を再検討し,信頼性を高めるために一連の手法を統合する。
我々は,不確実性推定の有効性を示す重要なテストベッドである故障予測のベンチマークに対して,SUREを厳格に評価する。
データ破損、ラベルノイズ、長い尾のクラス分布といった現実世界の課題に適用した場合、SUREは顕著な堅牢性を示し、現在の最先端の特殊手法と同等あるいは同等な結果をもたらす。
論文 参考訳（メタデータ） (2024-03-01T13:58:19Z) - Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent
Representations [28.875819909902244]
不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。
既存の不確実性推定アプローチは、低次元分布仮定に依存している。
本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-25T12:22:18Z) - Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph
Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。
我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。
我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-04-04T16:10:55Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。
提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文 参考訳（メタデータ） (2020-06-07T13:38:32Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。