論文の概要: Efficient Out-of-Distribution Detection with Prototypical
Semi-Supervised Learning and Foundation Models
- arxiv url: http://arxiv.org/abs/2311.17093v2
- Date: Thu, 7 Mar 2024 00:30:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:26:55.333397
- Title: Efficient Out-of-Distribution Detection with Prototypical
Semi-Supervised Learning and Foundation Models
- Title(参考訳): 半教師付き学習と基礎モデルを用いた効率的な分布外検出
- Authors: Evelyn Mannix and Howard Bondell
- Abstract要約: PAWS-VMKは、コンピュータビジョンの分野におけるプロトタイプ半教師あり学習に対する改善されたアプローチである。
CIFAR-10(99.2%)とCIFAR-100(89.8%-101)の半教師付き学習において、クラス毎に4つのラベル付きインスタンスと、クラス毎に2つのラベル付きインスタンスを持つ食品(90.1%)のベンチマークを新たに設定した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes PAWS-VMK, an improved approach to prototypical
semi-supervised learning in the field of computer vision, specifically designed
to utilize a frozen foundation model as the neural network backbone. This
method outperforms previous results in semi-supervised learning and
out-of-distribution (OOD) detection, improving upon the Predicting
View-Assignments With Support Samples (PAWS) semi-supervised learning method.
We introduce (1) parametric von-Mises Fisher Stochastic Neighbour Embedding
(vMF-SNE) to pretrain the projection head using the high-quality embeddings of
the foundation model; (2) a MixMatch inspired loss, where predictions across
multiple views are averaged to provide a more reliable supervision signal
compared to the consistency loss used in PAWS and (3) simple $k$-Means
prototype selection (SKMPS), a technique that provides superior performance to
other unsupervised label selection approaches in this context. PAWS-VMK sets
new benchmarks in semi-supervised learning for CIFAR-10 (99.2%) and CIFAR-100
(89.8%) with four labelled instances per class, and Food-101 (90.1%) with two
labelled instances per class. We also observe that PAWS-VMK can efficiently
detect OOD samples in a manner that is competitive with specialised methods
specifically designed for this purpose, achieving 93.1/98.0 and 95.2/96.3 on
the CIFAR-10 and CIFAR-100 OpenOOD benchmarks.
- Abstract(参考訳): 本稿では,PAWS-VMKについて述べる。PAWS-VMKは,ニューラルネットワークのバックボーンとして凍結基盤モデルを利用するように設計されたコンピュータビジョンの分野における,プロトタイプ半教師付き学習の改良手法である。
本手法は, 半教師付き学習とアウト・オブ・ディストリビューション(OOD)の検出において, 従来の結果よりも優れており, 半教師付き学習法であるPAWS(Predicting View-Assignments With Support Samples)を改良した。
We introduce (1) parametric von-Mises Fisher Stochastic Neighbour Embedding (vMF-SNE) to pretrain the projection head using the high-quality embeddings of the foundation model; (2) a MixMatch inspired loss, where predictions across multiple views are averaged to provide a more reliable supervision signal compared to the consistency loss used in PAWS and (3) simple $k$-Means prototype selection (SKMPS), a technique that provides superior performance to other unsupervised label selection approaches in this context.
PAWS-VMKは、クラス毎に4つのラベル付きインスタンスを持つCIFAR-10 (99.2%)とCIFAR-100 (89.8%)、クラス毎に2つのラベル付きインスタンスを持つFood-101 (90.1%)の半教師付き学習のベンチマークを新たに設定している。
また、PAWS-VMKは、CIFAR-10およびCIFAR-100 OpenOODベンチマークで93.1/98.0および95.2/96.3を達成し、この目的のために特別に設計されたメソッドと競合する方法で、OODサンプルを効率的に検出できる。
関連論文リスト
- Learning with Mixture of Prototypes for Out-of-Distribution Detection [25.67011646236146]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングデータから遠く離れたテストサンプルを検出することを目的としている。
サンプルの多様性を捉えるために,各クラスを複数のプロトタイプでモデル化したプロトタイプ混在型学習法(PALM)を提案する。
提案手法はCIFAR-100ベンチマークにおいて93.82の最先端平均AUROC性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T00:52:50Z) - ContraCluster: Learning to Classify without Labels by Contrastive
Self-Supervision and Prototype-Based Semi-Supervision [7.819942809508631]
本研究では,クラスタリングとコントラスト型自己教師学習の能力を組み合わせた教師なし画像分類手法であるContraClusterを提案する。
ContraClusterは、(1)コントラスト型自己監督型事前訓練(CPT)、(2)コントラスト型プロトタイプサンプリング(CPS)、(3)プロトタイプ型半教師型微調整(PB-SFT)の3段階からなる。
我々は、CIFAR-10、STL-10、ImageNet-10などの標準ベンチマークデータセットに対して、ContraClusterが新しい最先端結果を達成することを実証的に示す。
論文 参考訳(メタデータ) (2023-04-19T01:51:08Z) - Predicted Embedding Power Regression for Large-Scale Out-of-Distribution
Detection [77.1596426383046]
本研究では,学習過程において学習したラベル分布に基づいて,予測されたクラスラベルの確率を計算する手法を開発した。
提案手法は,計算コストの最小化のみで,現在の最先端手法よりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-03-07T18:28:39Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。
本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。
CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
論文 参考訳(メタデータ) (2022-12-24T12:11:38Z) - CADet: Fully Self-Supervised Out-Of-Distribution Detection With
Contrastive Learning [11.897976063005315]
本研究は,2種類のOODサンプルの同時検出における自己教師付きコントラスト学習の利用について検討する。
まず,自己指導型コントラスト学習と,最大平均誤差(MMD)2サンプルテストとを組み合わせた。
この成功に触発されたCADetは,単一試料のOOD検出のための新しい手法である。
論文 参考訳(メタデータ) (2022-10-04T17:02:37Z) - Minimalistic Unsupervised Learning with the Sparse Manifold Transform [20.344274392350094]
本稿では,SOTA SSL手法に近い性能を実現する,教師なし学習のための最小限かつ解釈可能な手法について述べる。
一層決定論的スパース多様体変換により、MNIST上で99.3%のKNNトップ-1精度が得られる。
CIFAR-10では83.2%、CIFAR-100では57%である。
論文 参考訳(メタデータ) (2022-09-30T06:38:30Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳(メタデータ) (2021-09-04T02:45:22Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳(メタデータ) (2021-05-16T09:13:56Z) - Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and
Supervised Learning Methods in Adversarial Environments [63.942632088208505]
現在の運用環境に固有ののは、敵対的機械学習の実践である。
本研究では,教師なし学習とグラフに基づく異常検出の可能性を検討する。
我々は,教師付きモデルの訓練時に,現実的な対人訓練機構を組み込んで,対人環境における強力な分類性能を実現する。
論文 参考訳(メタデータ) (2021-05-14T10:05:10Z) - Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。
ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文 参考訳(メタデータ) (2020-11-18T08:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。