論文の概要: Evaluation of Out-of-Distribution Detection Performance of
Self-Supervised Learning in a Controllable Environment
- arxiv url: http://arxiv.org/abs/2011.13120v2
- Date: Mon, 18 Oct 2021 13:22:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 12:07:47.175503
- Title: Evaluation of Out-of-Distribution Detection Performance of
Self-Supervised Learning in a Controllable Environment
- Title(参考訳): 制御可能な環境における自己教師付き学習の分散検出性能の評価
- Authors: Jeonghoon Park, Kyungmin Jo, Daehoon Gwak, Jimin Hong, Jaegul Choo,
Edward Choi
- Abstract要約: 自己教師付き学習(SSL)手法のアウト・オブ・ディストリビューション(OOD)検出性能を新しい評価フレームワークを用いて評価する。
従来の評価手法と異なり,提案手法は分布内サンプルからのOODサンプルの距離を調整している。
- 参考スコア(独自算出の注目度): 27.28750644075659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We evaluate the out-of-distribution (OOD) detection performance of
self-supervised learning (SSL) techniques with a new evaluation framework.
Unlike the previous evaluation methods, the proposed framework adjusts the
distance of OOD samples from the in-distribution samples. We evaluate an
extensive combination of OOD detection algorithms on three different
implementations of the proposed framework using simulated samples, images, and
text. SSL methods consistently demonstrated the improved OOD detection
performance in all evaluation settings.
- Abstract(参考訳): 自己教師付き学習(SSL)手法のアウト・オブ・ディストリビューション(OOD)検出性能を新しい評価フレームワークを用いて評価する。
従来の評価手法と異なり,提案手法は分布内サンプルからのOODサンプルの距離を調整している。
シミュレーションサンプル,画像,テキストを用いて,提案フレームワークの3つの異なる実装におけるOOD検出アルゴリズムの広範な組み合わせを評価する。
SSLメソッドは、すべての評価設定で改善されたOOD検出性能を一貫して示す。
関連論文リスト
- Continual Evidential Deep Learning for Out-of-Distribution Detection [20.846788009755183]
不確実性に基づくディープラーニングモデルは、正確で信頼性の高い予測を提供する能力に対して、大きな関心を集めている。
Evidential Deep Learningは、単一決定論的ニューラルネットワークによるアウト・オブ・ディストリビューション(OOD)データの検出において、優れたパフォーマンスを実現している。
本稿では,オブジェクト分類とOOD検出を同時に行うために,明らかなディープラーニング手法を連続的な学習フレームワークに統合することを提案する。
論文 参考訳(メタデータ) (2023-09-06T13:36:59Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳(メタデータ) (2023-06-26T12:51:32Z) - Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric
Perspective [55.45202687256175]
アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。
本稿では,OOD検出における教師なし評価問題を初めて紹介する。
我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
論文 参考訳(メタデータ) (2023-02-16T13:34:35Z) - Plugin estimators for selective classification with out-of-distribution
detection [67.28226919253214]
現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。
これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。
OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。
本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
論文 参考訳(メタデータ) (2023-01-29T07:45:17Z) - Towards Realistic Out-of-Distribution Detection: A Novel Evaluation
Framework for Improving Generalization in OOD Detection [14.541761912174799]
本稿では,OOD(Out-of-Distribution)検出のための新しい評価フレームワークを提案する。
より現実的な設定で機械学習モデルのパフォーマンスを評価することを目的としている。
論文 参考訳(メタデータ) (2022-11-20T07:30:15Z) - WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。
トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。
本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
論文 参考訳(メタデータ) (2021-12-13T02:35:15Z) - Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。
emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。
提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
論文 参考訳(メタデータ) (2021-02-09T21:04:44Z) - Practical Evaluation of Out-of-Distribution Detection Methods for Image
Classification [22.26009759606856]
本稿では,代表的なOOD検出手法の性能を3つのシナリオで実験的に評価する。
その結果,シナリオとデータセットの違いにより,手法間の相対的な性能が変化することがわかった。
また,OOD検出手法の選択のガイドとしても利用することができる。
論文 参考訳(メタデータ) (2021-01-07T09:28:45Z) - Contrastive Training for Improved Out-of-Distribution Detection [36.61315534166451]
本稿では,OOD検出性能向上のためのコントラストトレーニングを提案する。
コントラストトレーニングは,多くのベンチマークにおいてOOD検出性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:40:37Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。