論文の概要: FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning
- arxiv url: http://arxiv.org/abs/2407.03489v2
- Date: Fri, 12 Jul 2024 21:55:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 23:47:24.000236
- Title: FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning
- Title（参考訳）: FlowCon:フローベースコントラスト学習を用いたアウト・オブ・ディストリビューション検出
- Authors: Saandeep Aathreya, Shaun Canavan,
- Abstract要約: 我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。
我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。
経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifying Out-of-distribution (OOD) data is becoming increasingly critical as the real-world applications of deep learning methods expand. Post-hoc methods modify softmax scores fine-tuned on outlier data or leverage intermediate feature layers to identify distinctive patterns between In-Distribution (ID) and OOD samples. Other methods focus on employing diverse OOD samples to learn discrepancies between ID and OOD. These techniques, however, are typically dependent on the quality of the outlier samples assumed. Density-based methods explicitly model class-conditioned distributions but this requires long training time or retraining the classifier. To tackle these issues, we introduce \textit{FlowCon}, a new density-based OOD detection technique. Our main innovation lies in efficiently combining the properties of normalizing flow with supervised contrastive learning, ensuring robust representation learning with tractable density estimation. Empirical evaluation shows the enhanced performance of our method across common vision datasets such as CIFAR-10 and CIFAR-100 pretrained on ResNet18 and WideResNet classifiers. We also perform quantitative analysis using likelihood plots and qualitative visualization using UMAP embeddings and demonstrate the robustness of the proposed method under various OOD contexts. Code will be open-sourced post decision.
- Abstract（参考訳）: ディープラーニング手法の現実的な応用が拡大するにつれて、OOD(Out-of-distriion)データの特定がますます重要になっている。
ポストホック法では、オフレイアデータに微調整されたソフトマックススコアを変更したり、中間特徴層を活用して、In-Distribution(ID)とOODサンプルの識別を行う。
他の方法は多様なOODサンプルを用いてIDとOODの相違を学習することに焦点を当てている。
しかしながら、これらの手法は典型的には、想定される外れ値のサンプルの品質に依存する。
密度ベースのメソッドは明示的にクラス条件の分布をモデル化するが、これは長いトレーニング時間や分類器の再訓練を必要とする。
これらの問題に対処するために、新しい密度に基づくOOD検出技術である \textit{FlowCon} を導入する。
我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることであり、堅牢な表現学習とトラクタブル密度推定を確実にすることである。
ResNet18 や WideResNet の分類器で事前訓練した CIFAR-10 や CIFAR-100 などの共通ビジョンデータセットに対して,本手法の有効性を実証的に評価した。
また、UMAP埋め込みを用いた確率プロットと定性的可視化を用いて定量的解析を行い、様々なOODコンテキスト下で提案手法のロバスト性を示す。
コードは、決定後、オープンソース化される。
関連論文リスト
- OAML: Outlier Aware Metric Learning for OOD Detection Enhancement [5.357756138014614]
トレーニング中にモデルが見ていないオブジェクトを特定するために、アウト・オブ・ディストリビューション(OOD)検出法が開発されている。
Outlier Exposure(OE)メソッドは補助データセットを使用してOOD検出器を直接訓練する。
我々は,代表的なOODサンプルの収集と学習に取り組むために,OAML(Outlier Aware Metric Learning)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T11:01:43Z) - WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - Toward a Realistic Benchmark for Out-of-Distribution Detection [3.8038269045375515]
我々は ImageNet と Places365 に基づく OOD 検出のための総合ベンチマークを導入する。
様々な特性を持つベンチマークを生成するために、どのクラスを配布中と考えるべきかを決定するために、いくつかのテクニックが使える。
論文 参考訳（メタデータ） (2024-04-16T11:29:43Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Classifier-head Informed Feature Masking and Prototype-based Logit
Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。
本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-27T12:42:17Z) - Continual Evidential Deep Learning for Out-of-Distribution Detection [20.846788009755183]
不確実性に基づくディープラーニングモデルは、正確で信頼性の高い予測を提供する能力に対して、大きな関心を集めている。
Evidential Deep Learningは、単一決定論的ニューラルネットワークによるアウト・オブ・ディストリビューション(OOD)データの検出において、優れたパフォーマンスを実現している。
本稿では,オブジェクト分類とOOD検出を同時に行うために,明らかなディープラーニング手法を連続的な学習フレームワークに統合することを提案する。
論文 参考訳（メタデータ） (2023-09-06T13:36:59Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Background Matters: Enhancing Out-of-distribution Detection with Domain
Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。
既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。
本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-15T16:12:14Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳（メタデータ） (2022-06-20T16:32:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。