論文の概要: OpenOOD: Benchmarking Generalized Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2210.07242v1
• Date: Thu, 13 Oct 2022 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:04:15.318744
• Title: OpenOOD: Benchmarking Generalized Out-of-Distribution Detection
• Title（参考訳）: OpenOOD: 一般化された配布外検出のベンチマーク
• Authors: Jingkang Yang, Pengyun Wang, Dejian Zou, Zitang Zhou, Kunyuan Ding, Wenxuan Peng, Haoqi Wang, Guangyao Chen, Bo Li, Yiyou Sun, Xuefeng Du, Kaiyang Zhou, Wayne Zhang, Dan Hendrycks, Yixuan Li, Ziwei Liu
• Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。 この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。 関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
• 参考スコア（独自算出の注目度）: 60.13300701826931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) detection is vital to safety-critical machine learning applications and has thus been extensively studied, with a plethora of methods developed in the literature. However, the field currently lacks a unified, strictly formulated, and comprehensive benchmark, which often results in unfair comparisons and inconclusive results. From the problem setting perspective, OOD detection is closely related to neighboring fields including anomaly detection (AD), open set recognition (OSR), and model uncertainty, since methods developed for one domain are often applicable to each other. To help the community to improve the evaluation and advance, we build a unified, well-structured codebase called OpenOOD, which implements over 30 methods developed in relevant fields and provides a comprehensive benchmark under the recently proposed generalized OOD detection framework. With a comprehensive comparison of these methods, we are gratified that the field has progressed significantly over the past few years, where both preprocessing methods and the orthogonal post-hoc methods show strong potential.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠であり、多くの手法が研究されている。 しかし、現在この分野には統一的で厳密な定式化と包括的なベンチマークが欠けているため、不公平な比較や不確定な結果がしばしば生じる。 問題設定の観点から、OOD検出は、異常検出(AD)、オープンセット認識(OSR)、モデル不確実性など、隣接する分野と密接に関連している。 このコードベースは、関連するフィールドで開発された30以上のメソッドを実装し、最近提案された汎用OOD検出フレームワークの下で包括的なベンチマークを提供する。 これらの手法を包括的に比較した結果,前処理法と直交ポストホック法の両方が強い可能性を示し,過去数年間でこの分野が著しく進歩していることが確認できた。

関連論文リスト

• Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
  本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。 MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。 画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-09-22T05:40:25Z)
• Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks [17.520137576423593]
  我々は,コミュニティ内の2つの大きなサブフィールドの総合的なビュー – アウト・オブ・ディストリビューション(OOD)検出とオープンセット認識(OSR) – を提供することを目指している。 我々は,OOD検出における最先端手法とOSR設定との厳密な相互評価を行い,それらの手法の性能の強い相関関係を同定する。 我々は,OOD検出とOSRによって取り組まれている問題を解消する,より大規模なベンチマーク設定を提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:55:07Z)
• Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection [9.656342063882555]
  5種類の分布変化について検討し,OOD検出手法の性能評価を行った。 その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇した場合,その性能は不整合であることがわかった。 我々は、より一貫性があり包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-22T14:52:44Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• Plugin estimators for selective classification with out-of-distribution detection [67.28226919253214]
  現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。 これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。 OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。 本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2023-01-29T07:45:17Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Generalized Out-of-Distribution Detection: A Survey [83.0449593806175]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習システムの信頼性と安全性を確保するために重要である。 その他の問題として、異常検出(AD)、新規検出(ND)、オープンセット認識(OSR)、異常検出(OD)などがある。 まず、上記の5つの問題を含む一般化OOD検出という統合されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T17:59:41Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。