論文の概要: PAWS-VMK: A Unified Approach To Semi-Supervised Learning And Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2311.17093v3
- Date: Fri, 24 May 2024 06:06:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 23:36:34.790473
- Title: PAWS-VMK: A Unified Approach To Semi-Supervised Learning And Out-of-Distribution Detection
- Title(参考訳): PAWS-VMK: 半教師付き学習とアウト・オブ・ディストリビューション検出のための統一的なアプローチ
- Authors: Evelyn Mannix, Howard Bondell,
- Abstract要約: 本稿では,画像分類タスクの最先端結果を取得するディープラーニング手法であるPAWS-VMKについて述べる。
PAWS-VMKは、クラス毎に4つのラベル付きインスタンスを持つCIFAR-10 (99.2%)とCIFAR-100 (89.8%)と、クラス毎に2つのラベル付きインスタンスを持つFood-101 (90.1%)の半教師付き学習のベンチマークを新たに設定している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes PAWS-VMK, a prototypical deep learning approach that obtains state-of-the-art results for image classification tasks in both a semi-supervised learning (SSL) and out-of-distribution (OOD) detection context. We consider developments in the fields of SSL, OOD detection, and computer vision foundation models to introduce a number of innovations that connect the key ideas within these works to create PAWS-VMK. These innovations include (1) parametric von Mises-Fisher Stochastic Neighbour Embedding (vMF-SNE) to initialise a projection head for SSL using the high-quality embeddings of the foundation model; (2) the PAWS-MixMatch loss, that creates more compact embeddings and obtains higher accuracy in comparison to the consistency loss used in PAWS and (3) simple $k$-Means prototype selection (SKMPS), a simple technique that obtains competitive performance with more complex unsupervised label selection approaches. PAWS-VMK sets new benchmarks in semi-supervised learning for CIFAR-10 (99.2%) and CIFAR-100 (89.8%) with four labelled instances per class, and Food-101 (90.1%) with two labelled instances per class. We also observe that PAWS-VMK can efficiently detect OOD samples in a manner that is competitive with specialised methods specifically designed for this purpose, achieving 93.1/98.0 and 95.2/96.3 on the CIFAR-10 and CIFAR-100 OpenOOD benchmarks.
- Abstract(参考訳): 本稿では、半教師付き学習(SSL)とアウト・オブ・ディストリビューション(OOD)検出コンテキストの両方において、画像分類タスクの最先端結果を取得する、プロトタイプ型ディープラーニングアプローチであるPAWS-VMKについて述べる。
我々は、SSL、OOD検出、コンピュータビジョン基礎モデルの分野での開発を検討し、PAWS-VMKを作成するために、これらの作業の主要なアイデアを結び付ける多くのイノベーションを紹介します。
これらの革新には、1パラメトリックのvon Mises-Fisher Stochastic Neighbour Embedding (vMF-SNE)により、基礎モデルの高品質な埋め込みを用いてSSLのプロジェクションヘッドを初期化すること、2よりコンパクトな埋め込みを生成するPAWS-MixMatch損失、3単純な$k$-Meansプロトタイプセレクション(SKMPS)による一貫性損失よりも高い精度のPAWS-MixMatch損失がある。
PAWS-VMKは、クラス毎に4つのラベル付きインスタンスを持つCIFAR-10 (99.2%)とCIFAR-100 (89.8%)と、クラス毎に2つのラベル付きインスタンスを持つFood-101 (90.1%)の半教師付き学習のベンチマークを新たに設定している。
また、PAWS-VMKは、CIFAR-10およびCIFAR-100 OpenOODベンチマークで93.1/98.0および95.2/96.3を達成し、この目的のために特別に設計されたメソッドと競合する方法で、OODサンプルを効率的に検出できることを示した。
関連論文リスト
- FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning [0.0]
我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。
我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。
経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
論文 参考訳(メタデータ) (2024-07-03T20:33:56Z) - Learning with Mixture of Prototypes for Out-of-Distribution Detection [25.67011646236146]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングデータから遠く離れたテストサンプルを検出することを目的としている。
サンプルの多様性を捉えるために,各クラスを複数のプロトタイプでモデル化したプロトタイプ混在型学習法(PALM)を提案する。
提案手法はCIFAR-100ベンチマークにおいて93.82の最先端平均AUROC性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T00:52:50Z) - Unified Classification and Rejection: A One-versus-All Framework [53.47637947615391]
我々は,オープンな集合分類器を構築するための統一的なフレームワークを構築した。
K の $-class 問題を $ K $ 1-versus-all (OVA) のバイナリ分類タスクに分解することにより、OVA 分類器のスコアを組み合わせることで、$ (K + 1) の $-class rear 確率が得られることを示す。
我々は最近提案された畳み込みプロトタイプネットワーク上で,OVAフレームワークとハイブリッドトレーニング戦略を実装した。
論文 参考訳(メタデータ) (2023-11-22T12:47:12Z) - ContraCluster: Learning to Classify without Labels by Contrastive
Self-Supervision and Prototype-Based Semi-Supervision [7.819942809508631]
本研究では,クラスタリングとコントラスト型自己教師学習の能力を組み合わせた教師なし画像分類手法であるContraClusterを提案する。
ContraClusterは、(1)コントラスト型自己監督型事前訓練(CPT)、(2)コントラスト型プロトタイプサンプリング(CPS)、(3)プロトタイプ型半教師型微調整(PB-SFT)の3段階からなる。
我々は、CIFAR-10、STL-10、ImageNet-10などの標準ベンチマークデータセットに対して、ContraClusterが新しい最先端結果を達成することを実証的に示す。
論文 参考訳(メタデータ) (2023-04-19T01:51:08Z) - Adapting Contrastive Language-Image Pretrained (CLIP) Models for
Out-of-Distribution Detection [1.597617022056624]
本研究では,視覚的アウトオブディストリビューション(OOD)検出のための事前訓練された特徴抽出器に関する総合的研究を行った。
我々は,OOD検出のための視覚言語モデルに適応するスタイリット擬似ラベル探索(PLP)と呼ばれる,シンプルでスケーラブルな新しい手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T10:02:18Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - CADet: Fully Self-Supervised Out-Of-Distribution Detection With
Contrastive Learning [11.897976063005315]
本研究は,2種類のOODサンプルの同時検出における自己教師付きコントラスト学習の利用について検討する。
まず,自己指導型コントラスト学習と,最大平均誤差(MMD)2サンプルテストとを組み合わせた。
この成功に触発されたCADetは,単一試料のOOD検出のための新しい手法である。
論文 参考訳(メタデータ) (2022-10-04T17:02:37Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。
これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文 参考訳(メタデータ) (2021-06-20T17:34:55Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。
ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文 参考訳(メタデータ) (2020-11-18T08:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。