論文の概要: Understanding the properties and limitations of contrastive learning for
Out-of-Distribution detection
- arxiv url: http://arxiv.org/abs/2211.03183v1
- Date: Sun, 6 Nov 2022 17:33:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:08:48.328342
- Title: Understanding the properties and limitations of contrastive learning for
Out-of-Distribution detection
- Title(参考訳): 分布外検出のためのコントラスト学習の性質と限界の理解
- Authors: Nawid Keshtmand, Raul Santos-Rodriguez, Jonathan Lawry
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出に対する一般的なアプローチは、コントラスト学習と呼ばれる自己教師付き学習技術に基づいている。
本稿では,OOD検出のための既存のコントラスト学習手法の有効性と限界を理解することを目的とする。
- 参考スコア(独自算出の注目度): 3.2689702143620143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A recent popular approach to out-of-distribution (OOD) detection is based on
a self-supervised learning technique referred to as contrastive learning. There
are two main variants of contrastive learning, namely instance and class
discrimination, targeting features that can discriminate between different
instances for the former, and different classes for the latter.
In this paper, we aim to understand the effectiveness and limitation of
existing contrastive learning methods for OOD detection. We approach this in 3
ways. First, we systematically study the performance difference between the
instance discrimination and supervised contrastive learning variants in
different OOD detection settings. Second, we study which in-distribution (ID)
classes OOD data tend to be classified into. Finally, we study the spectral
decay property of the different contrastive learning approaches and examine how
it correlates with OOD detection performance. In scenarios where the ID and OOD
datasets are sufficiently different from one another, we see that instance
discrimination, in the absence of fine-tuning, is competitive with supervised
approaches in OOD detection. We see that OOD samples tend to be classified into
classes that have a distribution similar to the distribution of the entire
dataset. Furthermore, we show that contrastive learning learns a feature space
that contains singular vectors containing several directions with a high
variance which can be detrimental or beneficial to OOD detection depending on
the inference approach used.
- Abstract(参考訳): 最近のOOD(out-of-distriion)検出に対する一般的なアプローチは、コントラスト学習と呼ばれる自己教師付き学習技術に基づいている。
対照的な学習には2つの主な変種、すなわちインスタンスとクラス識別があり、前者が異なるインスタンスを区別できる特徴を標的としており、後者は異なるクラスである。
本稿では,OOD検出のための既存のコントラスト学習手法の有効性と限界を理解することを目的とする。
私たちはこれを3つの方法でアプローチします。
まず,異なるood検出環境において,インスタンス識別と教師付きコントラスト学習型の性能差を体系的に検討する。
第2に,OODデータはどのクラスに分類されるかを検討する。
最後に,異なるコントラスト学習手法のスペクトル減衰特性について検討し,OOD検出性能との関連性を検討した。
IDとOODデータセットが互いに十分に異なるシナリオでは、微調整がない場合のインスタンス識別は、OOD検出における教師付きアプローチと競合する。
OODサンプルはデータセット全体の分布に類似した分布を持つクラスに分類される傾向にある。
さらに,提案手法では,複数方向を含む特異ベクトルを含む特徴空間を学習し,それを用いた推定手法により,OOD検出に有害あるいは有益であることを示す。
関連論文リスト
- EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳(メタデータ) (2023-08-20T11:56:25Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Background Matters: Enhancing Out-of-distribution Detection with Domain
Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。
既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。
本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-15T16:12:14Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳(メタデータ) (2023-02-06T08:24:41Z) - Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution
Detection [0.0]
教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。
本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-06T07:21:03Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳(メタデータ) (2022-06-20T16:32:49Z) - Multiple Testing Framework for Out-of-Distribution Detection [27.248375922343616]
本研究では,学習アルゴリズムの出力を推定時に信頼できるかどうかを検知するOOD(Out-of-Distribution)検出の問題について検討する。
我々は,OOD検出のための強力なテスト構築のための洞察を提供する,入力分布と学習アルゴリズムの両方を含むOOD概念の定義を提案する。
論文 参考訳(メタデータ) (2022-06-20T00:56:01Z) - Understanding, Detecting, and Separating Out-of-Distribution Samples and
Adversarial Samples in Text Classification [80.81532239566992]
本稿では,2種類の異常 (OOD と Adv のサンプル) と,3つの側面の内分布 (ID) を比較した。
OODサンプルは第1層から始まる収差を露呈するが,Advサンプルの異常はモデル深層まで出現しない。
隠れ表現と出力確率を用いて,ID,OOD,Advのサンプルを分離する簡単な手法を提案する。
論文 参考訳(メタデータ) (2022-04-09T12:11:59Z) - Modeling Discriminative Representations for Out-of-Domain Detection with
Supervised Contrastive Learning [16.77134235390429]
OOD検出の主な課題は、識別的セマンティックな特徴を学習することである。
クラス内分散を最小限に抑えるための教師付きコントラスト学習目標を提案する。
我々は,サンプルの擬似多様なビューを得るために,対角的拡張機構を用いる。
論文 参考訳(メタデータ) (2021-05-29T12:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。