論文の概要: Multi-task learning for natural language processing in the 2020s: where are we going?

• arxiv url: http://arxiv.org/abs/2007.16008v1
• Date: Wed, 22 Jul 2020 13:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 22:02:02.874035
• Title: Multi-task learning for natural language processing in the 2020s: where are we going?
• Title（参考訳）: 2020年代の自然言語処理のためのマルチタスク学習:どこへ行くのか?
• Authors: Joseph Worsham and Jugal Kalita
• Abstract要約: マルチタスク学習(MTL)は深層学習時代をかなり前倒しにしており、ここ数年で復活している。 本稿では,近年のMLLの自然言語処理分野への貢献を包括的に調査する。
• 参考スコア（独自算出の注目度）: 4.314956204483073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) significantly pre-dates the deep learning era, and it has seen a resurgence in the past few years as researchers have been applying MTL to deep learning solutions for natural language tasks. While steady MTL research has always been present, there is a growing interest driven by the impressive successes published in the related fields of transfer learning and pre-training, such as BERT, and the release of new challenge problems, such as GLUE and the NLP Decathlon (decaNLP). These efforts place more focus on how weights are shared across networks, evaluate the re-usability of network components and identify use cases where MTL can significantly outperform single-task solutions. This paper strives to provide a comprehensive survey of the numerous recent MTL contributions to the field of natural language processing and provide a forum to focus efforts on the hardest unsolved problems in the next decade. While novel models that improve performance on NLP benchmarks are continually produced, lasting MTL challenges remain unsolved which could hold the key to better language understanding, knowledge discovery and natural language interfaces.
• Abstract（参考訳）: MTL(Multi-task Learning)は、ディープラーニング時代をかなり前倒しにしており、研究者が自然言語処理にMTLを適用しているため、ここ数年で復活している。 安定したMTL研究は常に存在するが、BERTのようなトランスファーラーニングやプレトレーニングといった関連する分野で発行された印象的な成功や、GLUEやNLP Decathlon(decaNLP)といった新たな課題の公表によって、関心が高まっている。 これらの取り組みは、ネットワーク間の重みの共有方法、ネットワークコンポーネントの再使用性の評価、MTLがシングルタスクソリューションを著しく上回るユースケースの特定に重点を置いている。 本稿では,近年の自然言語処理分野へのmtlの貢献に関する総合的な調査と,今後10年で最も難しい未解決問題への取り組みに焦点を当てたフォーラムを提供する。 NLPベンチマークのパフォーマンスを改善する新しいモデルが継続的に作成されているが、MTLの継続的な課題は未解決のままであり、言語理解、知識発見、自然言語インタフェースの鍵を握る可能性がある。

関連論文リスト

• Learning Shortcuts: On the Misleading Promise of NLU in Language Models [4.8951183832371]
  大規模言語モデル(LLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、LLMはタスクの実行時にショートカットを利用することが多く、その決定規則の一般化性に欠けると同時に、性能向上の錯覚を生んでいることが判明している。
  論文  参考訳（メタデータ） (2024-01-17T21:55:15Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [97.71733265438044]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Solving the Right Problem is Key for Translational NLP: A Case Study in UMLS Vocabulary Insertion [12.855898113768998]
  UMLSに数十万の新しい用語が加えられる重要な実世界の課題であるUMLS語彙挿入の事例について検討する。 現実世界のタスクを反映したUMLS語彙挿入の新しい定式化を導入する。 また、重要な新しいモデル行動を可能にする効果的なルール強化バイオメディカル言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-25T19:35:53Z)
• Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
  Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。 提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。 我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
  論文  参考訳（メタデータ） (2023-11-14T21:04:03Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey [0.6240603866868214]
  MTL(Multi-Task Learning)は,共同学習による効率向上とパフォーマンス向上のための,有望なアプローチとして登場した。 本稿では,機械学習ライフサイクルの典型的な段階を通じて,MLLアプローチを使用する上での課題と機会について論じる。 MTLと継続学習の両方を扱えるモデルを持つことは現実的だと思います。
  論文  参考訳（メタデータ） (2023-08-16T09:11:00Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• Multi-Task Learning in Natural Language Processing: An Overview [10.410505713770021]
  マルチタスク学習(MTL)は、関連するタスクの有用な情報を利用して、複数のタスクにおける同時パフォーマンス改善を実現する。 NLPタスクで使用されるMTLアーキテクチャをまずレビューし、それらを並列アーキテクチャ、階層アーキテクチャ、モジュールアーキテクチャ、生成逆アーキテクチャを含む4つのクラスに分類する。 マルチタスクモデルを適切に訓練するために,損失構成,データサンプリング,タスクスケジューリングの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-19T14:51:51Z)
• Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
  私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。 アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。 私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
  論文  参考訳（メタデータ） (2021-04-18T10:41:56Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。