論文の概要: OOD Aware Supervised Contrastive Learning
- arxiv url: http://arxiv.org/abs/2310.01942v1
- Date: Tue, 3 Oct 2023 10:38:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 14:49:41.777358
- Title: OOD Aware Supervised Contrastive Learning
- Title（参考訳）: コントラスト学習を監督するOOD
- Authors: Soroush Seifi, Daniel Olmeda Reino, Nikolay Chumerin, Rahaf Aljundi
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、機械学習モデルの安全なデプロイにおいて重要な問題である。
我々は、Supervised Contrastive (SupCon)トレーニングで学んだ強力な表現を活用し、OODデータに対する堅牢性を学ぶための総合的なアプローチを提案する。
我々の解は単純で効率的であり、閉集合教師付きコントラスト表現学習の自然な拡張として機能する。
- 参考スコア（独自算出の注目度）: 13.329080722482187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-Distribution (OOD) detection is a crucial problem for the safe
deployment of machine learning models identifying samples that fall outside of
the training distribution, i.e. in-distribution data (ID). Most OOD works focus
on the classification models trained with Cross Entropy (CE) and attempt to fix
its inherent issues. In this work we leverage powerful representation learned
with Supervised Contrastive (SupCon) training and propose a holistic approach
to learn a classifier robust to OOD data. We extend SupCon loss with two
additional contrast terms. The first term pushes auxiliary OOD representations
away from ID representations without imposing any constraints on similarities
among auxiliary data. The second term pushes OOD features far from the existing
class prototypes, while pushing ID representations closer to their
corresponding class prototype. When auxiliary OOD data is not available, we
propose feature mixing techniques to efficiently generate pseudo-OOD features.
Our solution is simple and efficient and acts as a natural extension of the
closed-set supervised contrastive representation learning. We compare against
different OOD detection methods on the common benchmarks and show
state-of-the-art results.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、トレーニング分布から外れたサンプルを識別する機械学習モデルの安全なデプロイにおいて重要な問題である。
ほとんどのOOD作業は、クロスエントロピー(CE)で訓練された分類モデルに焦点を当て、固有の問題を修正しようとする。
本研究では,Supervised Contrastive (SupCon) トレーニングで学習した強力な表現を活用し,OODデータに頑健な分類器を学習するための総合的なアプローチを提案する。
SupConの損失を2つの追加のコントラスト条件で拡大します。
第1項は補助データ間の類似性に制約を加えることなく、補助OOD表現をID表現から切り離す。
第二の項は、OODの機能を既存のクラスのプロトタイプとはかけ離れたものにし、ID表現を対応するクラスのプロトタイプに近づける。
補助OODデータが利用できない場合,擬似OOD特徴を効率的に生成するための特徴混合手法を提案する。
我々の解は単純で効率的であり、閉集合教師付きコントラスト表現学習の自然な拡張として機能する。
我々は,一般的なベンチマークで異なるOOD検出手法を比較し,最先端の結果を示す。
関連論文リスト
- Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。
テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。
SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
論文 参考訳（メタデータ） (2024-09-08T17:28:22Z) - WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-24T18:50:49Z) - How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models? [29.75562085178755]
数ショットダウンストリームタスクに対するOOD検出の微調整の影響について検討する。
以上の結果から,OODスコアの適切な選択はCLIPに基づく微調整に不可欠であることが示唆された。
また, 即時学習は, ゼロショットに比較して最先端のOOD検出性能を示すことを示す。
論文 参考訳（メタデータ） (2023-06-09T17:16:50Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳（メタデータ） (2023-02-06T08:24:41Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-19T15:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。