論文の概要: A3Rank: Augmentation Alignment Analysis for Prioritizing Overconfident Failing Samples for Deep Learning Models
- arxiv url: http://arxiv.org/abs/2407.14114v1
- Date: Fri, 19 Jul 2024 08:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 18:13:50.074785
- Title: A3Rank: Augmentation Alignment Analysis for Prioritizing Overconfident Failing Samples for Deep Learning Models
- Title（参考訳）: A3Rank: 深層学習モデルにおける過信欠陥サンプルの優先順位付けのための拡張アライメント分析
- Authors: Zhengyuan Wei, Haipeng Wang, Qilin Zhou, W. K. Chan,
- Abstract要約: 拡張アライメント解析を用いた新しいテストケース優先順位付け手法を提案する。
A3$Rankは、信頼ベースのリジェクタのチェックから逃れた失敗するサンプルを効果的にランク付けすることができる。
また、これらの故障したサンプルを保護するために、これらのリジェクタを増強する専用の検出器を構築するためのフレームワークも提供する。
- 参考スコア（独自算出の注目度）: 2.6499018693213316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sharpening deep learning models by training them with examples close to the decision boundary is a well-known best practice. Nonetheless, these models are still error-prone in producing predictions. In practice, the inference of the deep learning models in many application systems is guarded by a rejector, such as a confidence-based rejector, to filter out samples with insufficient prediction confidence. Such confidence-based rejectors cannot effectively guard against failing samples with high confidence. Existing test case prioritization techniques effectively distinguish confusing samples from confident samples to identify failing samples among the confusing ones, yet prioritizing the failing ones high among many confident ones is challenging. In this paper, we propose $A^3$Rank, a novel test case prioritization technique with augmentation alignment analysis, to address this problem. $A^3$Rank generates augmented versions of each test case and assesses the extent of the prediction result for the test case misaligned with these of the augmented versions and vice versa. Our experiment shows that $A^3$Rank can effectively rank failing samples escaping from the checking of confidence-based rejectors, which significantly outperforms the peer techniques by 163.63\% in the detection ratio of top-ranked samples. We also provide a framework to construct a detector devoted to augmenting these rejectors to defend these failing samples, and our detector can achieve a significantly higher defense success rate.
- Abstract（参考訳）: 決定境界に近い例でトレーニングすることで、ディープラーニングモデルをシャープにすることは、よく知られたベストプラクティスです。
それでも、これらのモデルは予測の生成において依然としてエラーを起こしやすい。
実際には、多くのアプリケーションシステムにおけるディープラーニングモデルの推論は、信頼に基づくリジェクタなどのリジェクタによって保護され、予測信頼性が不十分なサンプルをフィルタリングする。
このような信頼に基づく拒絶者は、信頼性の高い失敗するサンプルを効果的に保護することはできない。
既存のテストケース優先順位付け技術は、信頼性のあるサンプルから混乱するサンプルを効果的に区別し、混乱しているサンプルの中から失敗するサンプルを識別するが、多くの信頼性の高いサンプルの間で失敗するサンプルを優先順位付けすることは困難である。
本稿では,この問題を解決するために,拡張アライメント解析を用いた新しいテストケース優先順位付け手法である$A^3$Rankを提案する。
A^3$Rankは、各テストケースの拡張バージョンを生成し、これらの拡張バージョンと一致していないテストケースの予測結果の範囲を評価します。
A^3$Rank は,信頼度に基づくリジェクタの検査から逃れたサンプルを効果的にランク付けできることを示した。
また,これらのリジェクタを補強して,これらのサンプルを保護するための検出器を構築するための枠組みも提供する。
関連論文リスト
- Typicalness-Aware Learning for Failure Detection [26.23185979968123]
ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。
そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-04T11:09:47Z) - Confidence Aware Learning for Reliable Face Anti-spoofing [52.23271636362843]
本稿では,その能力境界を意識した信頼認識顔アンチスプーフィングモデルを提案する。
各サンプルの予測中にその信頼性を推定する。
実験の結果,提案したCA-FASは予測精度の低いサンプルを効果的に認識できることがわかった。
論文 参考訳（メタデータ） (2024-11-02T14:29:02Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Calibrating Deep Neural Networks using Explicit Regularisation and
Dynamic Data Pruning [25.982037837953268]
ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。
そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T05:34:58Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳（メタデータ） (2022-09-04T12:49:20Z) - Holistic Approach to Measure Sample-level Adversarial Vulnerability and
its Utility in Building Trustworthy Systems [17.707594255626216]
敵対的攻撃は、知覚不能な雑音を伴うイメージを摂動させ、誤ったモデル予測をもたらす。
本稿では,異なる視点を組み合わせることで,サンプルの敵対的脆弱性を定量化するための総合的アプローチを提案する。
サンプルレベルで確実に敵の脆弱性を推定することにより、信頼できるシステムを開発できることを実証する。
論文 参考訳（メタデータ） (2022-05-05T12:36:17Z) - Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。
まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。
各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
論文 参考訳（メタデータ） (2022-03-21T10:20:21Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。
本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
論文 参考訳（メタデータ） (2020-06-29T13:44:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。