論文の概要: Improved Prototypical Semi-Supervised Learning with Foundation Models:
Prototype Selection, Parametric vMF-SNE Pretraining and Multi-view
Pseudolabelling
- arxiv url: http://arxiv.org/abs/2311.17093v1
- Date: Tue, 28 Nov 2023 06:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 00:05:26.064961
- Title: Improved Prototypical Semi-Supervised Learning with Foundation Models:
Prototype Selection, Parametric vMF-SNE Pretraining and Multi-view
Pseudolabelling
- Title（参考訳）: 基礎モデルを用いたprototypepical semi-supervised learningの改良:プロトタイプ選択、パラメトリックvmf-sneプリトレーニング、マルチビュー擬似ラベリング
- Authors: Evelyn Mannix and Howard Bondell
- Abstract要約: コンピュータビジョンのための半教師あり学習のための改良されたアプローチを提案する。
局所構造を保存する高次元潜在空間間のニューラルネットワークを用いたマッピングを作成する。
また,複数のビューにまたがる予測を組み合わせ,より信頼性の高い監視信号を提供するソフトなマルチビュー擬似ラベルを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we present an improved approach to prototypical semi-supervised
learning for computer vision, in the context of leveraging a frozen foundation
model as the backbone of our neural network. As a general tool, we propose
parametric von-Mises Fisher Stochastic Neighbour Embedding (vMF-SNE) to create
mappings with neural networks between high-dimensional latent spaces that
preserve local structure. This enables us to pretrain the projection head of
our network using the high-quality embeddings of the foundation model with
vMF-SNE. We also propose soft multi-view pseudolabels, where predictions across
multiple views are combined to provide a more reliable supervision signal
compared to a consistency or swapped assignment approach. We demonstrate that
these ideas improve upon P}redicting View-Assignments with Support Samples
(PAWS), a current state-of-the-art semi-supervised learning method, as well as
Robust PAWS (RoPAWS), over a range of benchmarking datasets. We also introduce
simple $k$-means prototype selection, a technique that provides superior
performance to other unsupervised label selection approaches in this context.
These changes improve upon PAWS by an average of +2.9% for CIFAR-10 and +5.7%
for CIFAR-100 with four labels per class, and by +15.2% for DeepWeeds, a
particularly challenging dataset for semi-supervised learning. We also achieve
new state-of-the-art results in semi-supervised learning in this small label
regime for CIFAR-10 - 95.8% (+0.7%) and CIFAR-100 - 76.6% (+12.0%).
- Abstract（参考訳）: 本稿では,ニューラルネットワークのバックボーンとして凍結基盤モデルを活用するという文脈において,コンピュータビジョンのためのプロトタイプ半教師付き学習の改良手法を提案する。
一般的なツールとして、局所構造を保存する高次元潜在空間間のニューラルネットワークによるマッピングを作成するために、パラメトリックなvon-Mises Fisher Stochastic Neighbour Embedding (vMF-SNE)を提案する。
これにより、vMF-SNEによる基礎モデルの高品質な埋め込みを用いて、ネットワークのプロジェクションヘッドを事前訓練することができる。
また,複数のビューにまたがる予測を組み合わせることで,一貫性や代入のアプローチと比較して,より信頼性の高い監督信号を提供するソフトマルチビュー擬似ラベルを提案する。
これらの考え方は,現在の最先端の半教師付き学習手法であるPAWS (View-Assignments with Support Samples) や,さまざまなベンチマークデータセットを用いたRobost PAWS (RoPAWS) によって改善されている。
この文脈で他の教師なしラベル選択アプローチよりも優れたパフォーマンスを提供するテクニックである、単純な$k$-meansプロトタイプセレクションも導入しています。
これらの変更は、CIFAR-10では平均+2.9%、CIFAR-100では+5.7%、DeepWeedsでは+15.2%改善されている。
また, CIFAR-10 95.8% (+0.7%) と CIFAR-100 76.6% (+12.0%) について, 半教師付き学習の新たな成果を得た。
関連論文リスト
- Learning with Mixture of Prototypes for Out-of-Distribution Detection [25.67011646236146]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングデータから遠く離れたテストサンプルを検出することを目的としている。
サンプルの多様性を捉えるために,各クラスを複数のプロトタイプでモデル化したプロトタイプ混在型学習法(PALM)を提案する。
提案手法はCIFAR-100ベンチマークにおいて93.82の最先端平均AUROC性能を実現する。
論文 参考訳（メタデータ） (2024-02-05T00:52:50Z) - Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。
私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
論文 参考訳（メタデータ） (2024-01-09T04:33:03Z) - ContraCluster: Learning to Classify without Labels by Contrastive
Self-Supervision and Prototype-Based Semi-Supervision [7.819942809508631]
本研究では,クラスタリングとコントラスト型自己教師学習の能力を組み合わせた教師なし画像分類手法であるContraClusterを提案する。
ContraClusterは、(1)コントラスト型自己監督型事前訓練(CPT)、(2)コントラスト型プロトタイプサンプリング(CPS)、(3)プロトタイプ型半教師型微調整(PB-SFT)の3段階からなる。
我々は、CIFAR-10、STL-10、ImageNet-10などの標準ベンチマークデータセットに対して、ContraClusterが新しい最先端結果を達成することを実証的に示す。
論文 参考訳（メタデータ） (2023-04-19T01:51:08Z) - Predicted Embedding Power Regression for Large-Scale Out-of-Distribution
Detection [77.1596426383046]
本研究では,学習過程において学習したラベル分布に基づいて,予測されたクラスラベルの確率を計算する手法を開発した。
提案手法は,計算コストの最小化のみで,現在の最先端手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-03-07T18:28:39Z) - Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。
本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。
CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
論文 参考訳（メタデータ） (2022-12-24T12:11:38Z) - CADet: Fully Self-Supervised Out-Of-Distribution Detection With
Contrastive Learning [11.897976063005315]
本研究は,2種類のOODサンプルの同時検出における自己教師付きコントラスト学習の利用について検討する。
まず,自己指導型コントラスト学習と,最大平均誤差(MMD)2サンプルテストとを組み合わせた。
この成功に触発されたCADetは,単一試料のOOD検出のための新しい手法である。
論文 参考訳（メタデータ） (2022-10-04T17:02:37Z) - Minimalistic Unsupervised Learning with the Sparse Manifold Transform [20.344274392350094]
本稿では,SOTA SSL手法に近い性能を実現する,教師なし学習のための最小限かつ解釈可能な手法について述べる。
一層決定論的スパース多様体変換により、MNIST上で99.3%のKNNトップ-1精度が得られる。
CIFAR-10では83.2%、CIFAR-100では57%である。
論文 参考訳（メタデータ） (2022-09-30T06:38:30Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and
Supervised Learning Methods in Adversarial Environments [63.942632088208505]
現在の運用環境に固有ののは、敵対的機械学習の実践である。
本研究では,教師なし学習とグラフに基づく異常検出の可能性を検討する。
我々は,教師付きモデルの訓練時に,現実的な対人訓練機構を組み込んで,対人環境における強力な分類性能を実現する。
論文 参考訳（メタデータ） (2021-05-14T10:05:10Z) - Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。
ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文 参考訳（メタデータ） (2020-11-18T08:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。