論文の概要: Generalized Adversarial Distances to Efficiently Discover Classifier Errors

• arxiv url: http://arxiv.org/abs/2102.12844v1
• Date: Thu, 25 Feb 2021 13:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-27 03:01:08.807868
• Title: Generalized Adversarial Distances to Efficiently Discover Classifier Errors
• Title（参考訳）: 分類誤りを効果的に発見するための一般化した逆距離
• Authors: Walter Bennette, Sally Dufek, Karsten Maurer, Sean Sisti, Bunyod Tusmatov
• Abstract要約: 高信頼エラーは、モデルがその予測に非常に自信を持っているが間違っている稀な出来事である。 本稿では,機械学習の概念を活用し,逆距離探索の一般化を提案する。 実験結果から, 一般化された手法では, 予測値の信頼度から, 予測値よりも誤差が大きいことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a black-box classification model and an unlabeled evaluation dataset from some application domain, efficient strategies need to be developed to evaluate the model. Random sampling allows a user to estimate metrics like accuracy, precision, and recall, but may not provide insight to high-confidence errors. High-confidence errors are rare events for which the model is highly confident in its prediction, but is wrong. Such errors can represent costly mistakes and should be explicitly searched for. In this paper we propose a generalization to the Adversarial Distance search that leverages concepts from adversarial machine learning to identify predictions for which a classifier may be overly confident. These predictions are useful instances to sample when looking for high-confidence errors because they are prone to a higher rate of error than expected. Our generalization allows Adversarial Distance to be applied to any classifier or data domain. Experimental results show that the generalized method finds errors at rates greater than expected given the confidence of the sampled predictions, and outperforms competing methods.
• Abstract（参考訳）: あるアプリケーションドメインからブラックボックス分類モデルとラベルなしの評価データセットを与えられた場合、モデルを評価するために効率的な戦略を開発する必要があります。 ランダムサンプリングにより、精度、精度、リコールなどのメトリクスを推定できるが、信頼性の高いエラーに対する洞察は提供されない。 高信頼エラーは、モデルがその予測に非常に自信を持っているが間違っている稀な出来事である。 このようなエラーはコストのかかる誤りを表現でき、明示的に検索されるべきである。 本稿では,機械学習の概念を活用し,分類器が過度に自信を持つ可能性のある予測を同定する,敵距離探索の一般化を提案する。 これらの予測は、予想よりも高いエラー率になりやすいため、信頼性の高いエラーを探しているときにサンプルに役立ちます。 当社の一般化により、Adversarial Distanceはあらゆる分類器やデータドメインに適用できます。 実験結果から, サンプル予測の信頼性を考慮し, 予測値よりも高い誤差が得られ, 競合手法よりも優れていた。

関連論文リスト

• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning [25.982037837953268]
  ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。 そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T05:34:58Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Harnessing Adversarial Distances to Discover High-Confidence Errors [0.0]
  モデル信頼度から予測されるよりも高いレートで誤りを発見する問題について検討する。 本稿では, 対向的摂動によって導かれる, クエリ効率が高く, 新規な探索手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T13:44:16Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。