Fugu-MT 論文翻訳(概要): A Survey on Transfer Learning in Natural Language Processing

論文の概要: A Survey on Transfer Learning in Natural Language Processing

arxiv url: http://arxiv.org/abs/2007.04239v1
Date: Sun, 31 May 2020 21:52:31 GMT
ステータス: 処理完了
システム内更新日: 2022-11-26 12:15:46.335040
Title: A Survey on Transfer Learning in Natural Language Processing
Title（参考訳）: 自然言語処理における伝達学習に関する調査
Authors: Zaid Alyafeai, Maged Saeed AlShaibani, Irfan Ahmad
Abstract要約: 多くの大規模モデルが出現するにつれて、トランスファーラーニングの需要が高まっている。本調査では,NLP分野における近年の転写学習の進歩を取り上げる。
参考スコア（独自算出の注目度）: 8.396202730857942
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning models usually require a huge amount of data. However, these large datasets are not always attainable. This is common in many challenging NLP tasks. Consider Neural Machine Translation, for instance, where curating such large datasets may not be possible specially for low resource languages. Another limitation of deep learning models is the demand for huge computing resources. These obstacles motivate research to question the possibility of knowledge transfer using large trained models. The demand for transfer learning is increasing as many large models are emerging. In this survey, we feature the recent transfer learning advances in the field of NLP. We also provide a taxonomy for categorizing different transfer learning approaches from the literature.
Abstract（参考訳）: ディープラーニングモデルは通常、大量のデータが必要です。しかし、これらの大きなデータセットは必ずしも達成できない。これは多くの難題NLPタスクで一般的である。例えばNeural Machine Translationでは、そのような大規模なデータセットをキュレートすることは、低リソース言語では特に不可能である可能性がある。ディープラーニングモデルのもうひとつの制限は、巨大なコンピューティングリソースの需要だ。これらの障害は、大規模に訓練されたモデルを用いた知識伝達の可能性に疑問を呈する研究を動機付ける。多くの大規模モデルが出現するにつれて、転校学習の需要が増加している。本調査では,最近のNLP分野における転写学習の進歩を取り上げる。また、文献から異なる移行学習アプローチを分類するための分類も提供する。

関連論文リスト

Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-12T18:57:59Z)
Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws [51.68385617116854]
スケーリング法則は、言語モデルのサイズと能力の関係を記述している。我々は、ウィキペディアのページから(米国、首都ワシントンD.C.など)ドメインとして表される事実知識に焦点を当てる。 7Bモデルは、英語のウィキペディアと教科書を合わせた14Bビットの知識を保存できる。
論文参考訳（メタデータ） (2024-04-08T11:11:31Z)
Guided Transfer Learning [0.0]
一部のアプリケーションでは、ガイド付き転送学習により、少量のデータからネットワークを学習することができる。別のケースでは、パラメータの少ないネットワークがタスクを学習でき、そうでなければ大きなネットワークだけが学習できる。ガイド転送学習は、データ量、モデルサイズ、計算資源の可用性が限界に達すると、多くのアプリケーションを持つ可能性がある。
論文参考訳（メタデータ） (2023-03-26T18:21:24Z)
Data Augmentation for Neural NLP [0.0]
データ拡張は、データの不足に対処するための低コストなアプローチである。本稿では,自然言語処理における最先端データ拡張手法の概要について述べる。
論文参考訳（メタデータ） (2023-02-22T14:47:15Z)
A Review of Deep Transfer Learning and Recent Advancements [1.3535770763481905]
ディープ・トランスファー・ラーニング(Deep Transfer Learning, DTL)は、このような制限に対処する手法である。 DTLは限られた対象データを扱うと同時に、トレーニングコストを大幅に削減します。
論文参考訳（メタデータ） (2022-01-19T04:19:36Z)
Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文参考訳（メタデータ） (2021-11-02T15:48:28Z)
Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
論文参考訳（メタデータ） (2021-09-06T21:31:42Z)
Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
論文参考訳（メタデータ） (2021-04-26T15:12:13Z)
Low-Resource Adaptation of Neural NLP Models [0.30458514384586405]
本論文は,情報抽出と自然言語理解における低リソースシナリオを扱う手法について考察する。ニューラルNLPモデルを開発し,学習データを最小限にしたNLPタスクに関する多くの研究課題を探索する。
論文参考訳（メタデータ） (2020-11-09T12:13:55Z)
A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios [30.391291221959545]
ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。
論文参考訳（メタデータ） (2020-10-23T11:22:01Z)
What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文参考訳（メタデータ） (2020-08-26T17:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。