Fugu-MT 論文翻訳(概要): Efficient Out-of-Distribution Detection with Prototypical Semi-Supervised Learning and Foundation Models

論文の概要: Efficient Out-of-Distribution Detection with Prototypical Semi-Supervised Learning and Foundation Models

arxiv url: http://arxiv.org/abs/2311.17093v2
Date: Thu, 7 Mar 2024 00:30:52 GMT
ステータス: 処理完了
システム内更新日: 2024-03-08 17:26:55.333397
Title: Efficient Out-of-Distribution Detection with Prototypical Semi-Supervised Learning and Foundation Models
Title（参考訳）: 半教師付き学習と基礎モデルを用いた効率的な分布外検出
Authors: Evelyn Mannix and Howard Bondell
Abstract要約: PAWS-VMKは、コンピュータビジョンの分野におけるプロトタイプ半教師あり学習に対する改善されたアプローチである。 CIFAR-10(99.2%)とCIFAR-100(89.8%-101)の半教師付き学習において、クラス毎に4つのラベル付きインスタンスと、クラス毎に2つのラベル付きインスタンスを持つ食品(90.1%)のベンチマークを新たに設定した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes PAWS-VMK, an improved approach to prototypical semi-supervised learning in the field of computer vision, specifically designed to utilize a frozen foundation model as the neural network backbone. This method outperforms previous results in semi-supervised learning and out-of-distribution (OOD) detection, improving upon the Predicting View-Assignments With Support Samples (PAWS) semi-supervised learning method. We introduce (1) parametric von-Mises Fisher Stochastic Neighbour Embedding (vMF-SNE) to pretrain the projection head using the high-quality embeddings of the foundation model; (2) a MixMatch inspired loss, where predictions across multiple views are averaged to provide a more reliable supervision signal compared to the consistency loss used in PAWS and (3) simple $k$-Means prototype selection (SKMPS), a technique that provides superior performance to other unsupervised label selection approaches in this context. PAWS-VMK sets new benchmarks in semi-supervised learning for CIFAR-10 (99.2%) and CIFAR-100 (89.8%) with four labelled instances per class, and Food-101 (90.1%) with two labelled instances per class. We also observe that PAWS-VMK can efficiently detect OOD samples in a manner that is competitive with specialised methods specifically designed for this purpose, achieving 93.1/98.0 and 95.2/96.3 on the CIFAR-10 and CIFAR-100 OpenOOD benchmarks.
Abstract（参考訳）: 本稿では,PAWS-VMKについて述べる。PAWS-VMKは,ニューラルネットワークのバックボーンとして凍結基盤モデルを利用するように設計されたコンピュータビジョンの分野における,プロトタイプ半教師付き学習の改良手法である。本手法は, 半教師付き学習とアウト・オブ・ディストリビューション(OOD)の検出において, 従来の結果よりも優れており, 半教師付き学習法であるPAWS(Predicting View-Assignments With Support Samples)を改良した。 We introduce (1) parametric von-Mises Fisher Stochastic Neighbour Embedding (vMF-SNE) to pretrain the projection head using the high-quality embeddings of the foundation model; (2) a MixMatch inspired loss, where predictions across multiple views are averaged to provide a more reliable supervision signal compared to the consistency loss used in PAWS and (3) simple $k$-Means prototype selection (SKMPS), a technique that provides superior performance to other unsupervised label selection approaches in this context. PAWS-VMKは、クラス毎に4つのラベル付きインスタンスを持つCIFAR-10 (99.2%)とCIFAR-100 (89.8%)、クラス毎に2つのラベル付きインスタンスを持つFood-101 (90.1%)の半教師付き学習のベンチマークを新たに設定している。また、PAWS-VMKは、CIFAR-10およびCIFAR-100 OpenOODベンチマークで93.1/98.0および95.2/96.3を達成し、この目的のために特別に設計されたメソッドと競合する方法で、OODサンプルを効率的に検出できる。

関連論文リスト

WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文参考訳（メタデータ） (2024-05-27T13:38:28Z)
EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。主な困難は、尾クラスに属するサンプルとOODデータを区別することである。本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文参考訳（メタデータ） (2023-12-14T13:47:13Z)
Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。本稿では,大規模事前学習モデルに対する一意な解を提案する。
論文参考訳（メタデータ） (2023-10-02T02:01:00Z)
From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文参考訳（メタデータ） (2023-08-20T11:56:25Z)
Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文参考訳（メタデータ） (2023-06-06T14:23:34Z)
Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文参考訳（メタデータ） (2023-02-02T19:28:41Z)
A Simple Test-Time Method for Out-of-Distribution Detection [45.11199798139358]
本稿では,OOD検出のための簡易なテスト時間線形訓練法を提案する。分布外である入力画像の確率は、ニューラルネットワークが抽出した特徴と驚くほど線形に相関していることがわかった。本稿では,提案手法のオンライン版を提案し,実世界のアプリケーションでより実用的な性能を実現する。
論文参考訳（メタデータ） (2022-07-17T16:02:58Z)
No True State-of-the-Art? OOD Detection Methods are Inconsistent across Datasets [69.725266027309]
アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
論文参考訳（メタデータ） (2021-09-12T16:35:00Z)
OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文参考訳（メタデータ） (2021-07-19T15:46:38Z)
EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference [4.826988182025783]
協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
論文参考訳（メタデータ） (2021-06-25T18:43:23Z)
Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。