論文の概要: Learning with Mixture of Prototypes for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2402.02653v1
- Date: Mon, 5 Feb 2024 00:52:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 18:26:23.361443
- Title: Learning with Mixture of Prototypes for Out-of-Distribution Detection
- Title（参考訳）: 分散検出のためのプロトタイプの混合による学習
- Authors: Haodong Lu, Dong Gong, Shuo Wang, Jason Xue, Lina Yao, Kristen Moore
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングデータから遠く離れたテストサンプルを検出することを目的としている。
サンプルの多様性を捉えるために,各クラスを複数のプロトタイプでモデル化したプロトタイプ混在型学習法(PALM)を提案する。
提案手法はCIFAR-100ベンチマークにおいて93.82の最先端平均AUROC性能を実現する。
- 参考スコア（独自算出の注目度）: 25.67011646236146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection aims to detect testing samples far away
from the in-distribution (ID) training data, which is crucial for the safe
deployment of machine learning models in the real world. Distance-based OOD
detection methods have emerged with enhanced deep representation learning. They
identify unseen OOD samples by measuring their distances from ID class
centroids or prototypes. However, existing approaches learn the representation
relying on oversimplified data assumptions, e.g, modeling ID data of each class
with one centroid class prototype or using loss functions not designed for OOD
detection, which overlook the natural diversities within the data. Naively
enforcing data samples of each class to be compact around only one prototype
leads to inadequate modeling of realistic data and limited performance. To
tackle these issues, we propose PrototypicAl Learning with a Mixture of
prototypes (PALM) which models each class with multiple prototypes to capture
the sample diversities, and learns more faithful and compact samples embeddings
to enhance OOD detection. Our method automatically identifies and dynamically
updates prototypes, assigning each sample to a subset of prototypes via
reciprocal neighbor soft assignment weights. PALM optimizes a maximum
likelihood estimation (MLE) loss to encourage the sample embeddings to be
compact around the associated prototypes, as well as a contrastive loss on all
prototypes to enhance intra-class compactness and inter-class discrimination at
the prototype level. Moreover, the automatic estimation of prototypes enables
our approach to be extended to the challenging OOD detection task with
unlabelled ID data. Extensive experiments demonstrate the superiority of PALM,
achieving state-of-the-art average AUROC performance of 93.82 on the
challenging CIFAR-100 benchmark. Code is available at
https://github.com/jeff024/PALM.
- Abstract（参考訳）: Out-of-distriion(OOD)検出は、実際の世界で機械学習モデルの安全なデプロイに不可欠である、In-distriion(ID)トレーニングデータから遠く離れたテストサンプルを検出することを目的としている。
深部表現学習の強化により,距離に基づくOOD検出法が出現している。
彼らは、IDクラスセントロイドやプロトタイプからの距離を測定することで、見えないOODサンプルを識別する。
しかし、既存のアプローチでは、1セントロイドクラスのプロトタイプで各クラスのIDデータをモデル化したり、OOD検出用に設計されていない損失関数を用いてデータ内の自然の多様性を見渡すなど、単純化されたデータ仮定に基づく表現を学習している。
各クラスのデータサンプルを1つのプロトタイプでコンパクトにすることは、現実的なデータの不十分なモデリングと限られたパフォーマンスをもたらす。
これらの課題に対処するために,複数のプロトタイプを用いて各クラスをモデル化し,より忠実でコンパクトなサンプル埋め込みを学習し,OOD検出を向上させるプロトタイプ混在型学習(PALM)を提案する。
提案手法はプロトタイプを自動的に識別し動的に更新し,各サンプルを相互隣り合うソフト割り当て重みでプロトタイプのサブセットに割り当てる。
PALMは最大誤差推定(MLE)の損失を最適化し、サンプル埋め込みが関連するプロトタイプの周囲にコンパクトになるように促し、また全てのプロトタイプに対照的な損失を与え、プロトタイプレベルでクラス内コンパクト性とクラス間差別を高める。
さらに, プロトタイプの自動推定により, 難解な OOD 検出タスクに非競合IDデータで拡張することが可能となる。
大規模な実験はPALMの優位性を示し、挑戦的なCIFAR-100ベンチマークで93.82の最先端平均AUROC性能を達成した。
コードはhttps://github.com/jeff024/PALMで公開されている。
関連論文リスト
- DPU: Dynamic Prototype Updating for Multimodal Out-of-Distribution Detection [10.834698906236405]
機械学習モデルの堅牢性を保証するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
マルチモーダルモデルの最近の進歩は、検出性能を高めるために複数のモダリティを活用する可能性を示している。
マルチモーダルOOD検出のための新しいプラグイン・アンド・プレイフレームワークであるDynamic Prototype Updating (DPU)を提案する。
論文 参考訳（メタデータ） (2024-11-12T22:43:16Z) - Proto-OOD: Enhancing OOD Object Detection with Prototype Feature Similarity [15.518552332992035]
オフ・オブ・ディストリビューション(OOD)オブジェクト検出に特徴的類似性を利用する。
Proto-OODは、対照的な損失によってプロトタイプの表現性を向上する。
負の埋め込み生成器を使用して負の埋め込みを生成し、類似モジュールをトレーニングする。
論文 参考訳（メタデータ） (2024-09-09T09:48:27Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。
1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。
本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。
本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
論文 参考訳（メタデータ） (2024-01-15T03:33:39Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - How to Exploit Hyperspherical Embeddings for Out-of-Distribution
Detection? [22.519572587827213]
CIDERは、OOD検出に超球面埋め込みを利用する表現学習フレームワークである。
CIDERは優れたパフォーマンスを確立し、FPR95では19.36%で最新のライバルを上回った。
論文 参考訳（メタデータ） (2022-03-08T23:44:01Z) - EARLIN: Early Out-of-Distribution Detection for Resource-efficient
Collaborative Inference [4.826988182025783]
協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。
このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。
我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
論文 参考訳（メタデータ） (2021-06-25T18:43:23Z) - Lightweight Detection of Out-of-Distribution and Adversarial Samples via
Channel Mean Discrepancy [14.103271496247551]
分類モデルによって抽出された特徴の統計を評価するためのモデル非依存距離メトリックであるChannel Mean Disrepancy (CMD)を紹介する。
本研究では, 生検試料と逆検試料よりCMD径が有意に小さいことを実験的に実証した。
予備的な結果から, 簡便かつ効果的な手法は, oodおよびadversarialサンプル検出における最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-04-23T04:15:53Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。