論文の概要: A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods

• arxiv url: http://arxiv.org/abs/2204.03508v1
• Date: Thu, 7 Apr 2022 15:22:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 20:33:11.474978
• Title: A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
• Title（参考訳）: 自然言語処理におけるマルチタスク学習の実態調査--タスク関連性と学習方法について
• Authors: Zhihan Zhang, Wenhao Yu, Mengxia Yu, Zhichun Guo, Meng Jiang
• Abstract要約: 自然言語処理(NLP)において,マルチタスク学習(MTL)がますます普及している。 共通点と相違点を活用することで、関連するタスクのパフォーマンスを向上させる。 トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかは、まだよく理解されていない。
• 参考スコア（独自算出の注目度）: 17.094426577723507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) has become increasingly popular in natural language processing (NLP) because it improves the performance of related tasks by exploiting their commonalities and differences. Nevertheless, it is still not understood very well how multi-task learning can be implemented based on the relatedness of training tasks. In this survey, we review recent advances of multi-task learning methods in NLP, with the aim of summarizing them into two general multi-task training methods based on their task relatedness: (i) joint training and (ii) multi-step training. We present examples in various NLP downstream applications, summarize the task relationships and discuss future directions of this promising topic.
• Abstract（参考訳）: マルチタスク学習 (MTL) は, 自然言語処理 (NLP) において, 共通性や相違点を生かして, 関連タスクの性能向上を図っている。 にもかかわらず、マルチタスク学習がトレーニングタスクの関連性に基づいてどのように実装できるかは、まだよく理解されていない。 本研究では,NLPにおけるマルチタスク学習手法の最近の進歩を概観し,タスク関連性に基づく2つの一般的なマルチタスク学習手法にまとめる。 (i)ジョイントトレーニング、及び (ii)多段階訓練。 我々は,様々なnlp下流アプリケーションの例を示し,タスク関係を要約し,この課題の今後の方向性について考察する。

関連論文リスト

• Multi-task Active Learning for Pre-trained Transformer-based Models [22.228551277598804]
  複数のタスクをひとつのモデルで共同で学習するマルチタスク学習により、NLPモデルは複数のアノテーションから情報を共有することができる。 このテクニックでは、コストがかかり、面倒な複数のアノテーションスキームで同じテキストに注釈を付ける必要がある。 アクティブラーニング(AL)は、ラベルなし例を反復的に選択することで、アノテーションプロセスの最適化を実証している。
  論文  参考訳（メタデータ） (2022-08-10T14:54:13Z)
• Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
  マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。 現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。 本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-03T20:26:44Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Learning for Visual Scene Understanding [7.191593674138455]
  この論文はコンピュータビジョンの文脈におけるマルチタスク学習に関するものである。 マルチタスク学習の重要な側面に対処するいくつかの手法を提案する。 その結果,マルチタスク学習の最先端にいくつかの進歩が見られた。
  論文  参考訳（メタデータ） (2022-03-28T16:57:58Z)
• Multi-Task Neural Processes [105.22406384964144]
  我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。 特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。 その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
  論文  参考訳（メタデータ） (2021-11-10T17:27:46Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。