論文の概要: Deep transfer learning for image classification: a survey
- arxiv url: http://arxiv.org/abs/2205.09904v1
- Date: Fri, 20 May 2022 00:03:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 09:02:07.331550
- Title: Deep transfer learning for image classification: a survey
- Title（参考訳）: 画像分類のための深層伝達学習:調査
- Authors: Jo Plested, Tom Gedeon
- Abstract要約: 画像分類のベストプラクティスは、大量のラベル付きデータに基づいて大きな深層モデルをトレーニングできることである。
これらのシナリオでは、トランスファーラーニングはパフォーマンスを改善するのに役立つ。
画像分類におけるトランスファーラーニングの適用の新たな分類法を提案する。
- 参考スコア（独自算出の注目度）: 4.590533239391236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks such as convolutional neural networks (CNNs) and
transformers have achieved many successes in image classification in recent
years. It has been consistently demonstrated that best practice for image
classification is when large deep models can be trained on abundant labelled
data. However there are many real world scenarios where the requirement for
large amounts of training data to get the best performance cannot be met. In
these scenarios transfer learning can help improve performance. To date there
have been no surveys that comprehensively review deep transfer learning as it
relates to image classification overall. However, several recent general
surveys of deep transfer learning and ones that relate to particular
specialised target image classification tasks have been published. We believe
it is important for the future progress in the field that all current knowledge
is collated and the overarching patterns analysed and discussed. In this survey
we formally define deep transfer learning and the problem it attempts to solve
in relation to image classification. We survey the current state of the field
and identify where recent progress has been made. We show where the gaps in
current knowledge are and make suggestions for how to progress the field to
fill in these knowledge gaps. We present a new taxonomy of the applications of
transfer learning for image classification. This taxonomy makes it easier to
see overarching patterns of where transfer learning has been effective and,
where it has failed to fulfill its potential. This also allows us to suggest
where the problems lie and how it could be used more effectively. We show that
under this new taxonomy, many of the applications where transfer learning has
been shown to be ineffective or even hinder performance are to be expected when
taking into account the source and target datasets and the techniques used.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)やトランスフォーマーのようなディープニューラルネットワークは、近年、画像分類において多くの成功を収めている。
画像分類のベストプラクティスは、大量のラベル付きデータに基づいて大きな深層モデルを訓練できることが一貫して示されている。
しかし、最高のパフォーマンスを得るために、大量のトレーニングデータの要求が満たされない、現実世界のシナリオはたくさんあります。
これらのシナリオでは、転校学習はパフォーマンスを改善するのに役立つ。
これまで、画像分類全体に関するディープトランスファー学習を包括的にレビューする調査は行われていない。
しかし,近年のディープトランスファー学習の一般調査や,特定対象画像分類タスクに関連する調査結果が公表されている。
私たちは、現在のすべての知識が照合され、包括的なパターンが分析され議論される分野の今後の進歩にとって重要であると考えています。
本調査では,Deep Transfer Learningと画像分類に関して解決しようとする課題を正式に定義する。
我々は、現場の現状を調査し、最近の進展がどこにあるかを特定する。
現在の知識のギャップがどこにあるかを示し、これらの知識のギャップを埋めるためにどのようにフィールドを前進させるかを提案する。
画像分類における転写学習の応用の新しい分類法を提案する。
この分類は、転送学習が効果的で、その潜在能力を達成できないという、全体的なパターンを見やすくする。
これにより、問題のある場所や、それがより効果的に使用できる方法も提案できます。
この新たな分類法の下では、転送学習が非効率であるか、あるいは性能を阻害するアプリケーションの多くは、ソースとターゲットのデータセットと使用するテクニックを考慮に入れれば、期待できることが示されている。
関連論文リスト
- Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳（メタデータ） (2024-03-12T06:29:54Z) - Genetic Programming-Based Evolutionary Deep Learning for Data-Efficient
Image Classification [3.9310727060473476]
本稿では,データ効率のよい画像分類のための遺伝的プログラミングに基づく進化的深層学習手法を提案する。
この新しいアプローチは、画像領域と分類領域の両方から多くの重要な演算子を使用して、変数長モデルを自動的に進化させることができる。
フレキシブルな多層表現により、新しいアプローチは、タスクごとに浅いモデルや深いモデルやツリーを自動的に構築できる。
論文 参考訳（メタデータ） (2022-09-27T08:10:16Z) - SATS: Self-Attention Transfer for Continual Semantic Segmentation [50.51525791240729]
連続的なセマンティックセグメンテーションは、連続的な分類学習と同じ破滅的な忘れの問題に悩まされる。
本研究では,各画像内の要素間の関係について,知識に関連する新しいタイプの情報伝達を提案する。
関係情報は、トランスフォーマースタイルのセグメンテーションモデルにおける自己アテンションマップから有効に得ることができる。
論文 参考訳（メタデータ） (2022-03-15T06:09:28Z) - Transfer of Pretrained Model Weights Substantially Improves
Semi-Supervised Image Classification [3.492636597449942]
ディープニューラルネットワークは、多数のラベル付きサンプルでトレーニングされた場合、最先端の結果を生成する。
ディープニューラルネットワークは、少数のラベル付きサンプルがトレーニングに使用される場合、過度に適合する傾向がある。
ラベル付きサンプルがほとんどない場合、転送学習がモデルの精度を大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-09-02T08:58:34Z) - Few-Shot Learning for Image Classification of Common Flora [0.0]
MAML(Model-Agnostic Meta Learning)を用いた画像分類のためのメタラーニング分野の最先端の研究と、さまざまな最先端のトランスファーラーニングウェイトとアーキテクチャをテストした結果を紹介します。
その結果、データセットが十分に大きい場合、両方のプラクティスが十分なパフォーマンスを提供しますが、十分なパフォーマンスを維持するためにデータスパーシャビリティが導入されると、どちらも苦労しています。
論文 参考訳（メタデータ） (2021-05-07T03:54:51Z) - Factors of Influence for Transfer Learning across Diverse Appearance
Domains and Task Types [50.1843146606122]
現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。
転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。
本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
論文 参考訳（メタデータ） (2021-03-24T16:24:20Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳（メタデータ） (2020-08-26T17:23:40Z) - CrossTransformers: spatially-aware few-shot transfer [92.33252608837947]
非常に少ないデータを持つ新しいタスクを考えると、現代の視覚システムは驚くほど急速に低下する。
現代の視覚システムを支えるニューラルネットワーク表現が、どのようにして監督の崩壊にさらされているかを示す。
そこで我々は,伝達を良くする汎用的な機能を促進するために,自己指導型学習を提案する。
論文 参考訳（メタデータ） (2020-07-22T15:37:08Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-07-11T22:48:42Z) - Evaluating the Progress of Deep Learning for Visual Relational Concepts [0.6999740786886536]
難しいタスクが認知心理学のリレーショナルな概念と結びついていることを示します。
我々は,この角度から提示されていなくても,関係概念学習に関連する研究をレビューする。
将来のデータセットをリレーショナル推論でテストシステムにもっと関連付けるためのステップを推奨します。
論文 参考訳（メタデータ） (2020-01-29T14:21:34Z) - Continual Local Replacement for Few-shot Learning [13.956960291580938]
少数ショット学習の目標は,1つないし少数のトレーニングデータに基づいて,新しいクラスを認識可能なモデルを学習することにある。
1)新しいクラスの優れた特徴表現が欠けていること、(2)ラベル付きデータの一部が真のデータ分布を正確に表現できないこと、である。
データ不足問題に対処するために,新たな局所的置換戦略を提案する。
論文 参考訳（メタデータ） (2020-01-23T04:26:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。