論文の概要: A Review of Deep Transfer Learning and Recent Advancements
- arxiv url: http://arxiv.org/abs/2201.09679v1
- Date: Wed, 19 Jan 2022 04:19:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-30 11:24:22.718472
- Title: A Review of Deep Transfer Learning and Recent Advancements
- Title(参考訳): 深層伝達学習の展望と最近の進歩
- Authors: Mohammadreza Iman, Khaled Rasheed, Hamid R. Arabnia
- Abstract要約: ディープ・トランスファー・ラーニング(Deep Transfer Learning, DTL)は、このような制限に対処する手法である。
DTLは限られた対象データを扱うと同時に、トレーニングコストを大幅に削減します。
- 参考スコア(独自算出の注目度): 1.3535770763481905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A successful deep learning model is dependent on extensive training data and
processing power and time (known as training costs). There exist many tasks
without enough number of labeled data to train a deep learning model. Further,
the demand is rising for running deep learning models on edge devices with
limited processing capacity and training time. Deep transfer learning (DTL)
methods are the answer to tackle such limitations, e.g., fine-tuning a
pre-trained model on a massive semi-related dataset proved to be a simple and
effective method for many problems. DTLs handle limited target data concerns as
well as drastically reduce the training costs. In this paper, the definition
and taxonomy of deep transfer learning is reviewed. Then we focus on the
sub-category of network-based DTLs since it is the most common types of DTLs
that have been applied to various applications in the last decade.
- Abstract(参考訳): ディープラーニングモデルの成功は、広範なトレーニングデータと処理能力と時間(トレーニングコストとして知られる)に依存する。
ディープラーニングモデルをトレーニングするのに十分な数のラベル付きデータがないタスクは数多く存在する。
さらに、処理能力とトレーニング時間を制限したエッジデバイス上でのディープラーニングモデルの実行に対する需要も高まっている。
例えば、大規模な半関連データセット上で事前学習されたモデルを微調整することは、多くの問題に対してシンプルで効果的な方法であることが証明された。
DTLは限られた対象データを扱うと同時に、トレーニングコストを大幅に削減します。
本稿では,Deep Transfer Learningの定義と分類について概説する。
そして、ネットワークベースのDTLのサブカテゴリに焦点を当てる。これは、過去10年間に様々なアプリケーションに適用されてきた、最も一般的なタイプのDTLである。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Deep Transfer Learning for Automatic Speech Recognition: Towards Better
Generalization [3.6393183544320236]
深層学習(DL)における音声認識の課題
大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。
ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
論文 参考訳(メタデータ) (2023-04-27T21:08:05Z) - Dataset Distillation: A Comprehensive Review [76.26276286545284]
データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。
本稿ではDDの最近の進歩とその応用について概説する。
論文 参考訳(メタデータ) (2023-01-17T17:03:28Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - Continual Learning with Transformers for Image Classification [12.028617058465333]
コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。
本研究では,適応型適応器の蒸留法 (ADA) を開発した。
本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
論文 参考訳(メタデータ) (2022-06-28T15:30:10Z) - EXPANSE: A Deep Continual / Progressive Learning System for Deep
Transfer Learning [1.1024591739346294]
現在のDTL技術は、破滅的な忘れジレンマまたは過度に偏った事前訓練モデルに悩まされている。
本稿では,これらの制約に対処する深層移動学習のための新しい連続的・進行的学習手法を提案する。
私たちは、人間の教育システムにインスパイアされたディープラーニングモデルをトレーニングする新しい方法を提供する。
論文 参考訳(メタデータ) (2022-05-19T03:54:58Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳(メタデータ) (2022-03-10T06:23:41Z) - Training Deep Networks from Zero to Hero: avoiding pitfalls and going
beyond [59.94347858883343]
このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。
これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
論文 参考訳(メタデータ) (2021-09-06T21:31:42Z) - A Survey on Transfer Learning in Natural Language Processing [8.396202730857942]
多くの大規模モデルが出現するにつれて、トランスファーラーニングの需要が高まっている。
本調査では,NLP分野における近年の転写学習の進歩を取り上げる。
論文 参考訳(メタデータ) (2020-05-31T21:52:31Z) - Exploring the Efficacy of Transfer Learning in Mining Image-Based
Software Artifacts [1.5285292154680243]
トランスファーラーニングにより、利用可能なデータの量に制限があっても、大量の学習パラメータを必要とするディープアーキテクチャをトレーニングすることができます。
本稿では,ソフトウェア図の分類問題に適用した非ソフトウェア工学データに基づいて事前学習したモデルを用いたトランスファーラーニングの適用可能性について検討する。
論文 参考訳(メタデータ) (2020-03-03T16:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。