論文の概要: Multi-task learning for natural language processing in the 2020s: where are we going?

• arxiv url: http://arxiv.org/abs/2007.16008v1
• Date: Wed, 22 Jul 2020 13:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 22:02:02.874035
• Title: Multi-task learning for natural language processing in the 2020s: where are we going?
• Title（参考訳）: 2020年代の自然言語処理のためのマルチタスク学習:どこへ行くのか?
• Authors: Joseph Worsham and Jugal Kalita
• Abstract要約: マルチタスク学習(MTL)は深層学習時代をかなり前倒しにしており、ここ数年で復活している。 本稿では,近年のMLLの自然言語処理分野への貢献を包括的に調査する。
• 参考スコア（独自算出の注目度）: 4.314956204483073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) significantly pre-dates the deep learning era, and it has seen a resurgence in the past few years as researchers have been applying MTL to deep learning solutions for natural language tasks. While steady MTL research has always been present, there is a growing interest driven by the impressive successes published in the related fields of transfer learning and pre-training, such as BERT, and the release of new challenge problems, such as GLUE and the NLP Decathlon (decaNLP). These efforts place more focus on how weights are shared across networks, evaluate the re-usability of network components and identify use cases where MTL can significantly outperform single-task solutions. This paper strives to provide a comprehensive survey of the numerous recent MTL contributions to the field of natural language processing and provide a forum to focus efforts on the hardest unsolved problems in the next decade. While novel models that improve performance on NLP benchmarks are continually produced, lasting MTL challenges remain unsolved which could hold the key to better language understanding, knowledge discovery and natural language interfaces.
• Abstract（参考訳）: MTL(Multi-task Learning)は、ディープラーニング時代をかなり前倒しにしており、研究者が自然言語処理にMTLを適用しているため、ここ数年で復活している。 安定したMTL研究は常に存在するが、BERTのようなトランスファーラーニングやプレトレーニングといった関連する分野で発行された印象的な成功や、GLUEやNLP Decathlon(decaNLP)といった新たな課題の公表によって、関心が高まっている。 これらの取り組みは、ネットワーク間の重みの共有方法、ネットワークコンポーネントの再使用性の評価、MTLがシングルタスクソリューションを著しく上回るユースケースの特定に重点を置いている。 本稿では,近年の自然言語処理分野へのmtlの貢献に関する総合的な調査と,今後10年で最も難しい未解決問題への取り組みに焦点を当てたフォーラムを提供する。 NLPベンチマークのパフォーマンスを改善する新しいモデルが継続的に作成されているが、MTLの継続的な課題は未解決のままであり、言語理解、知識発見、自然言語インタフェースの鍵を握る可能性がある。

関連論文リスト

• GlobeSumm: A Challenging Benchmark Towards Unifying Multi-lingual, Cross-lingual and Multi-document News Summarization [33.37163476772722]
  我々は,多言語,多言語,多文書の要約を新しいタスク,すなわちMCMSに統一し,実世界の要求をオールインワンでカプセル化することを目指している。 GLOBESUMMデータセットは、まず多言語ニュースレポートを多言語で収集し、イベント中心のフォーマットに再構成することで、慎重に構築した。
  論文  参考訳（メタデータ） (2024-10-05T08:56:44Z)
• Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
  本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。 ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
  論文  参考訳（メタデータ） (2024-09-24T04:14:33Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [48.314619377988436]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras [41.92901498955136]
  MTLは、タスク固有の情報と共有情報の両方を効果的に活用し、複数の関連するタスクに同時に対処する学習パラダイムである。 過去20年間で、MTLはCV、NLP、レコメンデーションシステム、疾患の予後と診断、ロボット工学など、様々な分野で柔軟かつ効果的なアプローチとして広く認識されるようになった。 本調査では,MTL手法を正則化,関係学習,特徴伝達,最適化,事前学習の5つの領域に分類した。
  論文  参考訳（メタデータ） (2024-04-29T05:23:10Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Solving the Right Problem is Key for Translational NLP: A Case Study in UMLS Vocabulary Insertion [12.855898113768998]
  UMLSに数十万の新しい用語が加えられる重要な実世界の課題であるUMLS語彙挿入の事例について検討する。 現実世界のタスクを反映したUMLS語彙挿入の新しい定式化を導入する。 また、重要な新しいモデル行動を可能にする効果的なルール強化バイオメディカル言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-25T19:35:53Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Multi-Task Learning in Natural Language Processing: An Overview [12.011509222628055]
  マルチタスク学習(MTL)は、関連するタスクの有用な情報を利用して、これらのタスクの同時性能向上を実現する。 NLPタスクで使用されるMTLアーキテクチャをまずレビューし、それらを並列アーキテクチャ、階層アーキテクチャ、モジュールアーキテクチャ、生成逆アーキテクチャを含む4つのクラスに分類する。 マルチタスクモデルを適切にトレーニングするために,損失構成,勾配正則化,データサンプリング,タスクスケジューリングの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-19T14:51:51Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。