論文の概要: PAWS-VMK: A Unified Approach To Semi-Supervised Learning And Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2311.17093v3
- Date: Fri, 24 May 2024 06:06:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 23:36:34.790473
- Title: PAWS-VMK: A Unified Approach To Semi-Supervised Learning And Out-of-Distribution Detection
- Title（参考訳）: PAWS-VMK: 半教師付き学習とアウト・オブ・ディストリビューション検出のための統一的なアプローチ
- Authors: Evelyn Mannix, Howard Bondell,
- Abstract要約: 本稿では,画像分類タスクの最先端結果を取得するディープラーニング手法であるPAWS-VMKについて述べる。
PAWS-VMKは、クラス毎に4つのラベル付きインスタンスを持つCIFAR-10 (99.2%)とCIFAR-100 (89.8%)と、クラス毎に2つのラベル付きインスタンスを持つFood-101 (90.1%)の半教師付き学習のベンチマークを新たに設定している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes PAWS-VMK, a prototypical deep learning approach that obtains state-of-the-art results for image classification tasks in both a semi-supervised learning (SSL) and out-of-distribution (OOD) detection context. We consider developments in the fields of SSL, OOD detection, and computer vision foundation models to introduce a number of innovations that connect the key ideas within these works to create PAWS-VMK. These innovations include (1) parametric von Mises-Fisher Stochastic Neighbour Embedding (vMF-SNE) to initialise a projection head for SSL using the high-quality embeddings of the foundation model; (2) the PAWS-MixMatch loss, that creates more compact embeddings and obtains higher accuracy in comparison to the consistency loss used in PAWS and (3) simple $k$-Means prototype selection (SKMPS), a simple technique that obtains competitive performance with more complex unsupervised label selection approaches. PAWS-VMK sets new benchmarks in semi-supervised learning for CIFAR-10 (99.2%) and CIFAR-100 (89.8%) with four labelled instances per class, and Food-101 (90.1%) with two labelled instances per class. We also observe that PAWS-VMK can efficiently detect OOD samples in a manner that is competitive with specialised methods specifically designed for this purpose, achieving 93.1/98.0 and 95.2/96.3 on the CIFAR-10 and CIFAR-100 OpenOOD benchmarks.
- Abstract（参考訳）: 本稿では、半教師付き学習(SSL)とアウト・オブ・ディストリビューション(OOD)検出コンテキストの両方において、画像分類タスクの最先端結果を取得する、プロトタイプ型ディープラーニングアプローチであるPAWS-VMKについて述べる。
我々は、SSL、OOD検出、コンピュータビジョン基礎モデルの分野での開発を検討し、PAWS-VMKを作成するために、これらの作業の主要なアイデアを結び付ける多くのイノベーションを紹介します。
これらの革新には、1パラメトリックのvon Mises-Fisher Stochastic Neighbour Embedding (vMF-SNE)により、基礎モデルの高品質な埋め込みを用いてSSLのプロジェクションヘッドを初期化すること、2よりコンパクトな埋め込みを生成するPAWS-MixMatch損失、3単純な$k$-Meansプロトタイプセレクション(SKMPS)による一貫性損失よりも高い精度のPAWS-MixMatch損失がある。
PAWS-VMKは、クラス毎に4つのラベル付きインスタンスを持つCIFAR-10 (99.2%)とCIFAR-100 (89.8%)と、クラス毎に2つのラベル付きインスタンスを持つFood-101 (90.1%)の半教師付き学習のベンチマークを新たに設定している。
また、PAWS-VMKは、CIFAR-10およびCIFAR-100 OpenOODベンチマークで93.1/98.0および95.2/96.3を達成し、この目的のために特別に設計されたメソッドと競合する方法で、OODサンプルを効率的に検出できることを示した。
関連論文リスト
- WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。
特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。
本稿では,大規模事前学習モデルに対する一意な解を提案する。
論文 参考訳（メタデータ） (2023-10-02T02:01:00Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Effective Robustness against Natural Distribution Shifts for Models with
Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。
異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文 参考訳（メタデータ） (2023-02-02T19:28:41Z) - A Simple Test-Time Method for Out-of-Distribution Detection [45.11199798139358]
本稿では,OOD検出のための簡易なテスト時間線形訓練法を提案する。
分布外である入力画像の確率は、ニューラルネットワークが抽出した特徴と驚くほど線形に相関していることがわかった。
本稿では,提案手法のオンライン版を提案し,実世界のアプリケーションでより実用的な性能を実現する。
論文 参考訳（メタデータ） (2022-07-17T16:02:58Z) - No True State-of-the-Art? OOD Detection Methods are Inconsistent across
Datasets [69.725266027309]
アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。
本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。
また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
論文 参考訳（メタデータ） (2021-09-12T16:35:00Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-19T15:46:38Z) - EARLIN: Early Out-of-Distribution Detection for Resource-efficient
Collaborative Inference [4.826988182025783]
協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。
このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。
我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
論文 参考訳（メタデータ） (2021-06-25T18:43:23Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。