論文の概要: A Review of Deep Transfer Learning and Recent Advancements
- arxiv url: http://arxiv.org/abs/2201.09679v1
- Date: Wed, 19 Jan 2022 04:19:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-30 11:24:22.718472
- Title: A Review of Deep Transfer Learning and Recent Advancements
- Title（参考訳）: 深層伝達学習の展望と最近の進歩
- Authors: Mohammadreza Iman, Khaled Rasheed, Hamid R. Arabnia
- Abstract要約: ディープ・トランスファー・ラーニング(Deep Transfer Learning, DTL)は、このような制限に対処する手法である。
DTLは限られた対象データを扱うと同時に、トレーニングコストを大幅に削減します。
- 参考スコア（独自算出の注目度）: 1.3535770763481905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A successful deep learning model is dependent on extensive training data and
processing power and time (known as training costs). There exist many tasks
without enough number of labeled data to train a deep learning model. Further,
the demand is rising for running deep learning models on edge devices with
limited processing capacity and training time. Deep transfer learning (DTL)
methods are the answer to tackle such limitations, e.g., fine-tuning a
pre-trained model on a massive semi-related dataset proved to be a simple and
effective method for many problems. DTLs handle limited target data concerns as
well as drastically reduce the training costs. In this paper, the definition
and taxonomy of deep transfer learning is reviewed. Then we focus on the
sub-category of network-based DTLs since it is the most common types of DTLs
that have been applied to various applications in the last decade.
- Abstract（参考訳）: ディープラーニングモデルの成功は、広範なトレーニングデータと処理能力と時間(トレーニングコストとして知られる)に依存する。
ディープラーニングモデルをトレーニングするのに十分な数のラベル付きデータがないタスクは数多く存在する。
さらに、処理能力とトレーニング時間を制限したエッジデバイス上でのディープラーニングモデルの実行に対する需要も高まっている。
例えば、大規模な半関連データセット上で事前学習されたモデルを微調整することは、多くの問題に対してシンプルで効果的な方法であることが証明された。
DTLは限られた対象データを扱うと同時に、トレーニングコストを大幅に削減します。
本稿では,Deep Transfer Learningの定義と分類について概説する。
そして、ネットワークベースのDTLのサブカテゴリに焦点を当てる。これは、過去10年間に様々なアプリケーションに適用されてきた、最も一般的なタイプのDTLである。
関連論文リスト
- A Practical Guide to Fine-tuning Language Models with Limited Data [9.413178499853156]
事前訓練されたLarge Language Models (LLM) を採用することは、膨大なデータ要件にもかかわらず、自然言語処理(NLP)における事実上の標準となっている。
限られたデータを用いたLLMの学習に焦点をあてた最近の研究の急増に触発された本研究では、データ不足の下流タスクにおけるモデル性能を最適化するための、近年のトランスファー学習アプローチについて調査する。
論文 参考訳（メタデータ） (2024-11-14T15:55:37Z) - Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。
LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。
総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-11-12T18:57:59Z) - Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。
我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。
ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
論文 参考訳（メタデータ） (2024-09-10T00:59:18Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Deep Transfer Learning for Automatic Speech Recognition: Towards Better
Generalization [3.6393183544320236]
深層学習(DL)における音声認識の課題
大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。
ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
論文 参考訳（メタデータ） (2023-04-27T21:08:05Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - Continual Learning with Transformers for Image Classification [12.028617058465333]
コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。
本研究では,適応型適応器の蒸留法 (ADA) を開発した。
本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
論文 参考訳（メタデータ） (2022-06-28T15:30:10Z) - EXPANSE: A Deep Continual / Progressive Learning System for Deep
Transfer Learning [1.1024591739346294]
現在のDTL技術は、破滅的な忘れジレンマまたは過度に偏った事前訓練モデルに悩まされている。
本稿では,これらの制約に対処する深層移動学習のための新しい連続的・進行的学習手法を提案する。
私たちは、人間の教育システムにインスパイアされたディープラーニングモデルをトレーニングする新しい方法を提供する。
論文 参考訳（メタデータ） (2022-05-19T03:54:58Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳（メタデータ） (2022-03-10T06:23:41Z) - Training Deep Networks from Zero to Hero: avoiding pitfalls and going
beyond [59.94347858883343]
このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。
これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
論文 参考訳（メタデータ） (2021-09-06T21:31:42Z) - A Survey on Transfer Learning in Natural Language Processing [8.396202730857942]
多くの大規模モデルが出現するにつれて、トランスファーラーニングの需要が高まっている。
本調査では,NLP分野における近年の転写学習の進歩を取り上げる。
論文 参考訳（メタデータ） (2020-05-31T21:52:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。