論文の概要: Big Self-Supervised Models are Strong Semi-Supervised Learners
- arxiv url: http://arxiv.org/abs/2006.10029v2
- Date: Mon, 26 Oct 2020 03:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:05:55.485566
- Title: Big Self-Supervised Models are Strong Semi-Supervised Learners
- Title（参考訳）: 大きな自己監督型モデルは強い半監督型学習者である
- Authors: Ting Chen, Simon Kornblith, Kevin Swersky, Mohammad Norouzi, Geoffrey
Hinton
- Abstract要約: ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
- 参考スコア（独自算出の注目度）: 116.00752519907725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One paradigm for learning from few labeled examples while making best use of
a large amount of unlabeled data is unsupervised pretraining followed by
supervised fine-tuning. Although this paradigm uses unlabeled data in a
task-agnostic way, in contrast to common approaches to semi-supervised learning
for computer vision, we show that it is surprisingly effective for
semi-supervised learning on ImageNet. A key ingredient of our approach is the
use of big (deep and wide) networks during pretraining and fine-tuning. We find
that, the fewer the labels, the more this approach (task-agnostic use of
unlabeled data) benefits from a bigger network. After fine-tuning, the big
network can be further improved and distilled into a much smaller one with
little loss in classification accuracy by using the unlabeled examples for a
second time, but in a task-specific way. The proposed semi-supervised learning
algorithm can be summarized in three steps: unsupervised pretraining of a big
ResNet model using SimCLRv2, supervised fine-tuning on a few labeled examples,
and distillation with unlabeled examples for refining and transferring the
task-specific knowledge. This procedure achieves 73.9% ImageNet top-1 accuracy
with just 1% of the labels ($\le$13 labeled images per class) using ResNet-50,
a $10\times$ improvement in label efficiency over the previous
state-of-the-art. With 10% of labels, ResNet-50 trained with our method
achieves 77.5% top-1 accuracy, outperforming standard supervised training with
all of the labels.
- Abstract（参考訳）: ラベルなしの大量のデータを最大限に活用しながら、ラベル付き例から学ぶためのパラダイムのひとつは、教師なし事前トレーニングと教師なし微調整である。
このパラダイムは、コンピュータビジョンのための半教師あり学習に対する一般的なアプローチとは対照的に、タスクに依存しない方法でラベルなしのデータを使用するが、imagenet上で半教師なし学習に驚くほど有効である。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、このアプローチ(ラベルなしのデータを使うタスク非依存)はより大きなネットワークの恩恵を受ける。
微調整後、未ラベルの例を2回、タスク固有の方法で使用することにより、分類精度を損なうことなく、大きなネットワークをさらに改良し、より小さなネットワークに蒸留することができる。
提案した半教師付き学習アルゴリズムは,SimCLRv2を用いた大規模ResNetモデルの教師なし事前学習,いくつかのラベル付き例による教師付き微調整,タスク固有の知識の精製と伝達のためのラベル付き例による蒸留の3段階からなる。
この手順は、ResNet-50を使用してラベルのわずか1%(クラスあたり13ドルラベル付き画像)で73.9%のImageNet Top-1精度を達成する。
ResNet-50はラベルの10%の精度で77.5%の精度を達成し、すべてのラベルで標準的な教師付きトレーニングを上回った。
関連論文リスト
- One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Weighted Distillation with Unlabeled Examples [15.825078347452024]
ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。
本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
論文 参考訳（メタデータ） (2022-10-13T04:08:56Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳（メタデータ） (2022-06-07T02:03:06Z) - Weakly-Supervised Semantic Segmentation by Learning Label Uncertainty [8.074019565026544]
画素完全ラベルの小さなサブセットだけでセグメント化ネットワークを訓練する新たな損失関数を提案する。
私たちの損失は、ネットワークにバウンディングボックス内でラベルの不確実性を学ぶように訓練します。
我々は各タスクを18%のピクセル完全度と82%のバウンディングボックスラベルからなるデータセットでトレーニングした。
論文 参考訳（メタデータ） (2021-10-12T12:19:22Z) - Towards Good Practices for Efficiently Annotating Large-Scale Image
Classification Datasets [90.61266099147053]
多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。
人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。
ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
論文 参考訳（メタデータ） (2021-04-26T16:29:32Z) - Don't Wait, Just Weight: Improving Unsupervised Representations by
Learning Goal-Driven Instance Weights [92.16372657233394]
自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。
ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。
本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
論文 参考訳（メタデータ） (2020-06-22T15:59:32Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳（メタデータ） (2020-04-30T17:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。