論文の概要: Harnessing Adversarial Distances to Discover High-Confidence Errors

• arxiv url: http://arxiv.org/abs/2006.16055v1
• Date: Mon, 29 Jun 2020 13:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:45:31.066870
• Title: Harnessing Adversarial Distances to Discover High-Confidence Errors
• Title（参考訳）: 高信頼度誤り発見のための敵距離の活用
• Authors: Walter Bennette, Karsten Maurer, Sean Sisti
• Abstract要約: モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。 本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a deep neural network image classification model that we treat as a black box, and an unlabeled evaluation dataset, we develop an efficient strategy by which the classifier can be evaluated. Randomly sampling and labeling instances from an unlabeled evaluation dataset allows traditional performance measures like accuracy, precision, and recall to be estimated. However, random sampling may miss rare errors for which the model is highly confident in its prediction, but wrong. These high-confidence errors can represent costly mistakes, and therefore should be explicitly searched for. Past works have developed search techniques to find classification errors above a specified confidence threshold, but ignore the fact that errors should be expected at confidence levels anywhere below 100\%. In this work, we investigate the problem of finding errors at rates greater than expected given model confidence. Additionally, we propose a query-efficient and novel search technique that is guided by adversarial perturbations to find these mistakes in black box models. Through rigorous empirical experimentation, we demonstrate that our Adversarial Distance search discovers high-confidence errors at a rate greater than expected given model confidence.
• Abstract（参考訳）: ブラックボックスとして扱うディープニューラルネットワーク画像分類モデルとラベル付けされていない評価データセットから、分類器を評価可能な効率的な戦略を開発する。 ラベルのない評価データセットからランダムにインスタンスをサンプリングおよびラベリングすることで、精度、精度、リコールといった従来のパフォーマンス測定値の推定が可能になる。 しかし、ランダムサンプリングは、モデルがその予測に自信があるが間違っている稀な誤りを見逃す可能性がある。 これらの高い信頼度エラーはコストのかかる誤りを表現できるため、明示的に検索する必要がある。 過去の研究は、特定の信頼しきい値以上の分類エラーを見つけるための検索技術を開発したが、100\%未満の信頼レベルではエラーを期待すべきであるという事実は無視している。 本研究では,モデル信頼度から推定される以上の確率で誤りを見つける問題について検討する。 さらに,ブラックボックスモデルにおけるこれらの誤りを見つけるために,逆摂動に導かれるクエリ効率の高い新しい探索手法を提案する。 厳密な実証実験により,予測されたモデル信頼度よりも高い信頼度誤差が検出できることが実証された。

関連論文リスト

• Typicalness-Aware Learning for Failure Detection [26.23185979968123]
  ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。 そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T11:09:47Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning [25.982037837953268]
  ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。 そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T05:34:58Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Learning Confidence for Transformer-based Neural Machine Translation [38.679505127679846]
  本稿では,ニューラルネットワーク翻訳(NMT)モデルのトレーニングと協調して,教師なしの信頼度推定学習を提案する。 我々は、NMTモデルが正しい予測を行うために必要なヒントの数として、信頼性を説明し、より多くのヒントは信頼性の低いことを示す。 学習された信頼度推定は文・単語レベルの品質評価タスクにおいて高い精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-22T01:51:58Z)
• Generalized Adversarial Distances to Efficiently Discover Classifier Errors [0.0]
  高信頼エラーは、モデルがその予測に非常に自信を持っているが間違っている稀な出来事である。 本稿では,機械学習の概念を活用し,逆距離探索の一般化を提案する。 実験結果から, 一般化された手法では, 予測値の信頼度から, 予測値よりも誤差が大きいことがわかった。
  論文  参考訳（メタデータ） (2021-02-25T13:31:21Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。