論文の概要: Transfer of Pretrained Model Weights Substantially Improves
Semi-Supervised Image Classification
- arxiv url: http://arxiv.org/abs/2109.00788v1
- Date: Thu, 2 Sep 2021 08:58:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-03 23:01:02.324922
- Title: Transfer of Pretrained Model Weights Substantially Improves
Semi-Supervised Image Classification
- Title（参考訳）: 事前学習モデル重みの伝達は半教師付き画像分類を実質的に改善する
- Authors: Attaullah Sahito, Eibe Frank, and Bernhard Pfahringer
- Abstract要約: ディープニューラルネットワークは、多数のラベル付きサンプルでトレーニングされた場合、最先端の結果を生成する。
ディープニューラルネットワークは、少数のラベル付きサンプルがトレーニングに使用される場合、過度に適合する傾向がある。
ラベル付きサンプルがほとんどない場合、転送学習がモデルの精度を大幅に向上することを示す。
- 参考スコア（独自算出の注目度）: 3.492636597449942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks produce state-of-the-art results when trained on a large
number of labeled examples but tend to overfit when small amounts of labeled
examples are used for training. Creating a large number of labeled examples
requires considerable resources, time, and effort. If labeling new data is not
feasible, so-called semi-supervised learning can achieve better generalisation
than purely supervised learning by employing unlabeled instances as well as
labeled ones. The work presented in this paper is motivated by the observation
that transfer learning provides the opportunity to potentially further improve
performance by exploiting models pretrained on a similar domain. More
specifically, we explore the use of transfer learning when performing
semi-supervised learning using self-learning. The main contribution is an
empirical evaluation of transfer learning using different combinations of
similarity metric learning methods and label propagation algorithms in
semi-supervised learning. We find that transfer learning always substantially
improves the model's accuracy when few labeled examples are available,
regardless of the type of loss used for training the neural network. This
finding is obtained by performing extensive experiments on the SVHN, CIFAR10,
and Plant Village image classification datasets and applying pretrained weights
from Imagenet for transfer learning.
- Abstract（参考訳）: ディープニューラルネットワークは、多数のラベル付きサンプルをトレーニングする際に最先端の結果を生成するが、少数のラベル付きサンプルをトレーニングに使用すると過度に適合する傾向がある。
多数のラベル付き例を作成するには、かなりのリソース、時間、労力が必要です。
新しいデータのラベル付けが実現不可能な場合、ラベル付きインスタンスとラベル付きインスタンスを併用することにより、いわゆる半教師付き学習が純粋に教師付き学習よりも優れた一般化を実現することができる。
本論文は,移動学習が,類似した領域で事前学習されたモデルを活用することによって,潜在的にパフォーマンスを向上させる機会を提供するという観察に動機づけられる。
具体的には,自己学習を用いた半教師付き学習における転校学習の利用について検討する。
主な貢献は、半教師付き学習における類似度メトリック学習法とラベル伝播アルゴリズムの異なる組み合わせを用いた伝達学習の実証的評価である。
ニューラルネットワークのトレーニングに使用する損失の種類に関係なく,ラベル付きサンプルが少ない場合,転送学習によってモデルの精度が大幅に向上することがわかった。
この発見はSVHN, CIFAR10, Plant Villageの画像分類データセットに関する広範な実験を行い,Imagenetから事前訓練した重みを適用して得られた。
関連論文リスト
- Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳（メタデータ） (2024-03-12T06:29:54Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳（メタデータ） (2022-11-17T17:38:55Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳（メタデータ） (2022-03-18T16:50:38Z) - Few-shot Transfer Learning for Holographic Image Reconstruction using a
Recurrent Neural Network [0.30586855806896046]
ホログラフィック画像再構成ディープニューラルネットワークを,小さなデータセットを用いて新しいタイプのサンプルに迅速に一般化する,数発の転写学習手法を提案する。
提案手法の有効性を,小型ホログラフデータセットを用いた新しいタイプのサンプルに適用し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-01-27T05:51:36Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳（メタデータ） (2020-09-08T07:29:05Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-07-11T22:48:42Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳（メタデータ） (2020-07-01T22:55:48Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳（メタデータ） (2020-06-16T22:49:26Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。
畳み込み特徴抽出と微調整の有効性を評価する。
我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
論文 参考訳（メタデータ） (2020-02-29T18:48:58Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳（メタデータ） (2020-01-02T14:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。