論文の概要: Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2308.11480v1
- Date: Tue, 22 Aug 2023 14:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 17:36:13.786871
- Title: Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection
- Title（参考訳）: 予想外の予測:広範囲な分布検出に向けて
- Authors: Charles Guille-Escuret and Pierre-Andr\'e No\"el and Ioannis
Mitliagkas and David Vazquez and Joao Monteiro
- Abstract要約: 5種類の分布変化について検討し,OOD検出手法の性能評価を行った。
その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇した場合,その性能は不整合であることがわかった。
我々は、より一貫性があり包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案する。
- 参考スコア（独自算出の注目度）: 9.656342063882555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improving the reliability of deployed machine learning systems often involves
developing methods to detect out-of-distribution (OOD) inputs. However,
existing research often narrowly focuses on samples from classes that are
absent from the training set, neglecting other types of plausible distribution
shifts. This limitation reduces the applicability of these methods in
real-world scenarios, where systems encounter a wide variety of anomalous
inputs. In this study, we categorize five distinct types of distribution shifts
and critically evaluate the performance of recent OOD detection methods on each
of them. We publicly release our benchmark under the name BROAD (Benchmarking
Resilience Over Anomaly Diversity). Our findings reveal that while these
methods excel in detecting unknown classes, their performance is inconsistent
when encountering other types of distribution shifts. In other words, they only
reliably detect unexpected inputs that they have been specifically designed to
expect. As a first step toward broad OOD detection, we learn a generative model
of existing detection scores with a Gaussian mixture. By doing so, we present
an ensemble approach that offers a more consistent and comprehensive solution
for broad OOD detection, demonstrating superior performance compared to
existing methods. Our code to download BROAD and reproduce our experiments is
publicly available.
- Abstract（参考訳）: デプロイされた機械学習システムの信頼性を向上させるには、しばしばood(out-of-distribution)入力を検出する方法の開発が必要となる。
しかし、既存の研究では、トレーニングセットから外れたクラスからのサンプルに焦点を合わせ、他のタイプの可算分布シフトを無視していることが多い。
この制限により、システムは様々な異常な入力に遭遇する現実のシナリオにおいて、これらのメソッドの適用性が低下する。
本研究では,5つの異なる分布シフトを分類し,それらに対する最近のood検出法の性能を批判的に評価した。
BROAD(Benchmarking Resilience Over Anomaly Diversity)という名でベンチマークを公開しています。
その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇する場合には不整合であることがわかった。
言い換えれば、彼らは、期待するように特別に設計された予期せぬ入力を確実に検出するだけである。
広帯域OOD検出に向けた第一歩として,ガウス混合を用いた既存の検出スコアの生成モデルを学習する。
これにより、より一貫性があり、より包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案し、既存の方法と比較して優れた性能を示す。
BROADをダウンロードして実験を再現するコードは公開されています。
関連論文リスト
- Detecting Out-of-Distribution Samples via Conditional Distribution
Entropy with Optimal Transport [20.421338676377587]
トレーニングサンプルとテストインプットの両方から幾何情報を含む経験的確率分布は,OOD検出に極めて有用である。
最適輸送の枠組みの中では,OODサンプルであるテスト入力の不確かさを定量化するため,エントロピー(enmphconditional distribution entropy)と呼ばれる新しいスコア関数を提案する。
論文 参考訳（メタデータ） (2024-01-22T07:07:32Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - DIVERSIFY: A General Framework for Time Series Out-of-distribution
Detection and Generalization [58.704753031608625]
時系列は、機械学習研究における最も困難なモダリティの1つである。
時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。
時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
論文 参考訳（メタデータ） (2023-08-04T12:27:11Z) - Large Class Separation is not what you need for Relational
Reasoning-based OOD Detection [12.578844450586]
Out-Of-Distribution (OOD) 検出法はセマンティックノベルティを識別して解を提供する。
これらの手法の多くは、既知のデータの学習段階を利用しており、これは正規性の概念を捉えるためのモデル(または微調整)を訓練することを意味する。
実行可能な代替手段は、大きな事前訓練されたモデルによって生成された埋め込み空間の類似性を評価することであり、それ以上の学習は行わない。
論文 参考訳（メタデータ） (2023-07-12T14:10:15Z) - Plugin estimators for selective classification with out-of-distribution
detection [67.28226919253214]
現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。
これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。
OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。
本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
論文 参考訳（メタデータ） (2023-01-29T07:45:17Z) - Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。
本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。
CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
論文 参考訳（メタデータ） (2022-12-24T12:11:38Z) - OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。
この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。
関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
論文 参考訳（メタデータ） (2022-10-13T17:59:57Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳（メタデータ） (2022-06-20T16:32:49Z) - Multiple Testing Framework for Out-of-Distribution Detection [27.248375922343616]
本研究では,学習アルゴリズムの出力を推定時に信頼できるかどうかを検知するOOD(Out-of-Distribution)検出の問題について検討する。
我々は,OOD検出のための強力なテスト構築のための洞察を提供する,入力分布と学習アルゴリズムの両方を含むOOD概念の定義を提案する。
論文 参考訳（メタデータ） (2022-06-20T00:56:01Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。