論文の概要: Automatic Open-World Reliability Assessment

• arxiv url: http://arxiv.org/abs/2011.05506v2
• Date: Mon, 14 Dec 2020 01:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 23:50:38.032604
• Title: Automatic Open-World Reliability Assessment
• Title（参考訳）: 自動オープンワールド信頼性評価
• Authors: Mohsen Jafarzadeh, Touqeer Ahmad, Akshay Raj Dhamija, Chunchun Li, Steve Cruz, Terrance E. Boult
• Abstract要約: オープンワールドにおける画像分類は、アウト・オブ・ディストリビューション(OOD)画像を扱う必要がある。 オープンワールド認識信頼性問題を定式化し、複数の自動信頼度評価ポリシーを提案する。
• 参考スコア（独自算出の注目度）: 11.380522815465985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image classification in the open-world must handle out-of-distribution (OOD) images. Systems should ideally reject OOD images, or they will map atop of known classes and reduce reliability. Using open-set classifiers that can reject OOD inputs can help. However, optimal accuracy of open-set classifiers depend on the frequency of OOD data. Thus, for either standard or open-set classifiers, it is important to be able to determine when the world changes and increasing OOD inputs will result in reduced system reliability. However, during operations, we cannot directly assess accuracy as there are no labels. Thus, the reliability assessment of these classifiers must be done by human operators, made more complex because networks are not 100% accurate, so some failures are to be expected. To automate this process, herein, we formalize the open-world recognition reliability problem and propose multiple automatic reliability assessment policies to address this new problem using only the distribution of reported scores/probability data. The distributional algorithms can be applied to both classic classifiers with SoftMax as well as the open-world Extreme Value Machine (EVM) to provide automated reliability assessment. We show that all of the new algorithms significantly outperform detection using the mean of SoftMax.
• Abstract（参考訳）: オープンワールドにおける画像分類は、配布外画像(OOD)を扱う必要がある。 システムは理想的にはOODイメージを拒否するか、既知のクラスの上にマップし、信頼性を低下させるべきである。 OOD入力を拒否できるオープンセットの分類器を使用することは役に立つ。 しかし、開集合分類器の最適精度はOODデータの周波数に依存する。 したがって、標準またはオープンセットの分類器では、世界がいつ変化し、OOD入力が増加するかを決定することがシステムの信頼性を低下させる。 しかし,操作中はラベルがないため,精度を直接評価することはできない。 したがって、これらの分類器の信頼性評価は、ネットワークが100%正確ではないため、より複雑になるので、いくつかの失敗が期待できる。 そこで本研究では,このプロセスを自動化するために,オープンワールド認識信頼性問題を定式化し,新たに報告されたスコア・確率データの分布のみを用いて,複数の自動信頼度評価手法を提案する。 分散アルゴリズムは、SoftMaxを使った古典的な分類器と、オープンソースのExtreme Value Machine(EVM)の両方に適用して、自動信頼性評価を提供する。 新たなアルゴリズムはすべて,softmax平均を用いた検出を著しく上回っていることを示す。

関連論文リスト

• What If the Input is Expanded in OOD Detection? [77.37433624869857]
  Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。 In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。 入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
  論文  参考訳（メタデータ） (2024-10-24T06:47:28Z)
• How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
  in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。 本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
  論文  参考訳（メタデータ） (2024-02-05T20:36:33Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
  本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。 提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
  論文  参考訳（メタデータ） (2023-01-17T01:46:45Z)
• Accurate and Reliable Methods for 5G UAV Jamming Identification With Calibrated Uncertainty [3.4208659698673127]
  不確実性を考慮せずに精度を上げるだけで、Deep Neural Network(DNN)の意思決定に悪影響を及ぼす可能性がある。 本稿では,時系列二項分類問題に対する前処理と後処理の5つの組み合わせを提案する。
  論文  参考訳（メタデータ） (2022-11-05T15:04:45Z)
• Evaluating Uncertainty Calibration for Open-Set Recognition [5.8022510096020525]
  ディープニューラルネットワーク(DNN)は、アウト・オブ・ディストリビューション(OOD)データに過信的な確率を提供する。 我々は,OODデータに対する従来のキャリブレーション手法とは大きく異なる方法で,オープンセット条件に対する一般的なキャリブレーション手法を評価する。
  論文  参考訳（メタデータ） (2022-05-15T02:08:35Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Out-of-Distribution Detection for Automotive Perception [58.34808836642603]
  ニューラルネットワーク(NN)は、自律運転におけるオブジェクト分類に広く使われている。 NNは、アウト・オブ・ディストリビューション(OOD)データとして知られるトレーニングデータセットで適切に表現されていない入力データでフェールすることができる。 本稿では,OODデータを必要としない入力がOODであるか否かを判定し,推論の計算コストを増大させる方法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T01:46:35Z)
• Detecting Misclassification Errors in Neural Networks with a Gaussian Process Model [20.948038514886377]
  本稿では,誤分類誤りを検出するための定量的な尺度を新たに作成する枠組みを提案する。 このフレームワークREDは、ベース分類器の上にエラー検出器を構築し、ガウス過程を用いて検出スコアの不確かさを推定する。
  論文  参考訳（メタデータ） (2020-10-05T15:01:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。