論文の概要: Evaluating Out-of-Distribution Detectors Through Adversarial Generation of Outliers

• arxiv url: http://arxiv.org/abs/2208.10940v1
• Date: Sat, 20 Aug 2022 22:10:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 14:01:34.845933
• Title: Evaluating Out-of-Distribution Detectors Through Adversarial Generation of Outliers
• Title（参考訳）: 外乱発生による外乱検知器の評価
• Authors: Sangwoong Yoon, Jinwon Choi, Yonghyeon Lee, Yung-Kyun Noh, Frank Chongwoo Park
• Abstract要約: 我々はOOD検出器(EvG)の評価・生成法を提案する。 EvGはOOD検出器のロバスト性を調べるための新しいプロトコルである。 我々は、EvGを用いた最先端OOD検出器の性能に関する総合的なベンチマークを行い、これまで見過ごされていた弱点を明らかにした。
• 参考スコア（独自算出の注目度）: 8.913669910615226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A reliable evaluation method is essential for building a robust out-of-distribution (OOD) detector. Current robustness evaluation protocols for OOD detectors rely on injecting perturbations to outlier data. However, the perturbations are unlikely to occur naturally or not relevant to the content of data, providing a limited assessment of robustness. In this paper, we propose Evaluation-via-Generation for OOD detectors (EvG), a new protocol for investigating the robustness of OOD detectors under more realistic modes of variation in outliers. EvG utilizes a generative model to synthesize plausible outliers, and employs MCMC sampling to find outliers misclassified as in-distribution with the highest confidence by a detector. We perform a comprehensive benchmark comparison of the performance of state-of-the-art OOD detectors using EvG, uncovering previously overlooked weaknesses.
• Abstract（参考訳）: 信頼性の高い評価手法はロバストアウトオブディストリビューション(ood)検出器の構築に不可欠である。 OOD検出器の現在のロバスト性評価プロトコルは、外乱データに摂動を注入することに依存している。 しかし、摂動はデータの内容と自然に起こる可能性は低く、ロバスト性の限定的な評価を提供する。 本稿では,OOD検出器のより現実的な変動モード下でのロバスト性を調べるための新しいプロトコルである,OOD検出器の評価・生成手法を提案する。 EvGは生成モデルを用いて可塑性アウトリールを合成し、MCMCサンプリングを用いて、検出器によって最も信頼度の高い非分布として分類されたアウトリールを発見する。 evgを用いた最先端ood検出器の性能を総合ベンチマークで比較し,これまで見過ごされていた弱点を明らかにする。

関連論文リスト

• Detecting Out-of-Distribution Through the Lens of Neural Collapse [7.04686607977352]
  安全なデプロイメントには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 既存の検出器は、一般化の相違とコストの懸念を示す。 我々はニューラル崩壊の傾向にインスパイアされた、高度に多用途で効率的なOOD検出器を提案する。
  論文  参考訳（メタデータ） (2023-11-02T05:18:28Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• In or Out? Fixing ImageNet Out-of-Distribution Detection Evaluation [43.865923770543205]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション・タスクとは無関係な入力を識別する問題である。 現在使用されているテストOODデータセットの大部分は、オープンセット認識(OSR)文学からのデータセットを含む、深刻な問題を抱えている。 我々はNINCOに新しいテストOODデータセットを導入し、各サンプルをIDフリーにチェックし、OOD検出器の強度と障害モードの詳細な分析を可能にする。
  論文  参考訳（メタデータ） (2023-06-01T15:48:10Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data [41.62897997865578]
  安全なシステム動作を保証するための重要な要素は、Out-Of-Distribution Detectionである。 ほとんどのメソッドはエンコーダが出力する隠れた機能に依存している。 本研究では,ブラックボックスフレームワークにおけるソフト確率の活用に焦点をあてる。
  論文  参考訳（メタデータ） (2022-12-18T21:22:28Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。