論文の概要: Out-of-Distribution Detection with Overlap Index
- arxiv url: http://arxiv.org/abs/2412.06168v1
- Date: Mon, 09 Dec 2024 03:01:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:58:12.334902
- Title: Out-of-Distribution Detection with Overlap Index
- Title（参考訳）: オーバーラップ指数を用いたアウト・オブ・ディストリビューション検出
- Authors: Hao Fu, Prashanth Krishnamurthy, Siddharth Garg, Farshad Khorrami,
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界における機械学習モデルの展開に不可欠である。
重なり指数(OI)に基づく信頼度スコア関数を用いた新しいOOD検出手法を提案する。
我々は,OIをベースとしたOOD検出器と最先端のOOD検出器が競合することを示す。
- 参考スコア（独自算出の注目度）: 22.92968284023414
- License:
- Abstract: Out-of-distribution (OOD) detection is crucial for the deployment of machine learning models in the open world. While existing OOD detectors are effective in identifying OOD samples that deviate significantly from in-distribution (ID) data, they often come with trade-offs. For instance, deep OOD detectors usually suffer from high computational costs, require tuning hyperparameters, and have limited interpretability, whereas traditional OOD detectors may have a low accuracy on large high-dimensional datasets. To address these limitations, we propose a novel effective OOD detection approach that employs an overlap index (OI)-based confidence score function to evaluate the likelihood of a given input belonging to the same distribution as the available ID samples. The proposed OI-based confidence score function is non-parametric, lightweight, and easy to interpret, hence providing strong flexibility and generality. Extensive empirical evaluations indicate that our OI-based OOD detector is competitive with state-of-the-art OOD detectors in terms of detection accuracy on a wide range of datasets while requiring less computation and memory costs. Lastly, we show that the proposed OI-based confidence score function inherits nice properties from OI (e.g., insensitivity to small distributional variations and robustness against Huber $\epsilon$-contamination) and is a versatile tool for estimating OI and model accuracy in specific contexts.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界における機械学習モデルの展開に不可欠である。
既存のOOD検出器は、IDデータから著しく逸脱するOODサンプルを特定するのに有効であるが、トレードオフを伴うことが多い。
例えば、深いOOD検出器は高い計算コストに悩まされ、ハイパーパラメータのチューニングが必要であり、解釈可能性に制限があるのに対し、従来のOOD検出器は大きな高次元データセットに対して低い精度を持つ。
これらの制約に対処するため,本研究では,OIに基づく信頼度スコア関数を用いて,利用可能なIDサンプルと同じ分布に属する入力の確率を評価する新しいOOD検出手法を提案する。
提案したOIベースの信頼スコア関数は、非パラメトリックで軽量で解釈が容易であり、柔軟性と汎用性を提供する。
大規模な実験により、OIベースのOOD検出器は、より少ない計算とメモリコストを必要としながら、幅広いデータセットにおける検出精度の観点から、最先端のOOD検出器と競合することが示された。
最後に、提案したOIに基づく信頼度スコア関数は、OI(例えば、小さな分布変動に対する感度、およびHuber $\epsilon$-contamination)から優れた特性を継承し、特定の文脈におけるOIとモデルの精度を推定するための汎用ツールであることを示す。
関連論文リスト
- Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。
MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。
画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-09-22T05:40:25Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳（メタデータ） (2023-06-26T12:51:32Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳（メタデータ） (2023-01-17T01:46:45Z) - Evaluating Out-of-Distribution Detectors Through Adversarial Generation
of Outliers [8.913669910615226]
我々はOOD検出器(EvG)の評価・生成法を提案する。
EvGはOOD検出器のロバスト性を調べるための新しいプロトコルである。
我々は、EvGを用いた最先端OOD検出器の性能に関する総合的なベンチマークを行い、これまで見過ごされていた弱点を明らかにした。
論文 参考訳（メタデータ） (2022-08-20T22:10:36Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - Out-of-Distribution Detection for Automotive Perception [58.34808836642603]
ニューラルネットワーク(NN)は、自律運転におけるオブジェクト分類に広く使われている。
NNは、アウト・オブ・ディストリビューション(OOD)データとして知られるトレーニングデータセットで適切に表現されていない入力データでフェールすることができる。
本稿では,OODデータを必要としない入力がOODであるか否かを判定し,推論の計算コストを増大させる方法を提案する。
論文 参考訳（メタデータ） (2020-11-03T01:46:35Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。