論文の概要: Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras

• arxiv url: http://arxiv.org/abs/2404.18961v1
• Date: Mon, 29 Apr 2024 05:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 18:29:43.339687
• Title: Unleashing the Power of Multi-Task Learning: A Comprehensive Survey Spanning Traditional, Deep, and Pretrained Foundation Model Eras
• Title（参考訳）: マルチタスク学習のパワーを解き放つ:伝統的な、深く、事前訓練された基礎モデル時代を包括的に調査する
• Authors: Jun Yu, Yutong Dai, Xiaokang Liu, Jin Huang, Yishan Shen, Ke Zhang, Rong Zhou, Eashan Adhikarla, Wenxuan Ye, Yixin Liu, Zhaoming Kong, Kai Zhang, Yilong Yin, Vinod Namboodiri, Brian D. Davison, Jason H. Moore, Yong Chen,
• Abstract要約: MTLは、タスク固有の情報と共有情報の両方を効果的に活用し、複数の関連するタスクに同時に対処する学習パラダイムである。 過去20年間で、MTLはCV、NLP、レコメンデーションシステム、疾患の予後と診断、ロボット工学など、様々な分野で柔軟かつ効果的なアプローチとして広く認識されるようになった。 本調査では,MTL手法を正則化,関係学習,特徴伝達,最適化,事前学習の5つの領域に分類した。
• 参考スコア（独自算出の注目度）: 41.92901498955136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MTL is a learning paradigm that effectively leverages both task-specific and shared information to address multiple related tasks simultaneously. In contrast to STL, MTL offers a suite of benefits that enhance both the training process and the inference efficiency. MTL's key advantages encompass streamlined model architecture, performance enhancement, and cross-domain generalizability. Over the past twenty years, MTL has become widely recognized as a flexible and effective approach in various fields, including CV, NLP, recommendation systems, disease prognosis and diagnosis, and robotics. This survey provides a comprehensive overview of the evolution of MTL, encompassing the technical aspects of cutting-edge methods from traditional approaches to deep learning and the latest trend of pretrained foundation models. Our survey methodically categorizes MTL techniques into five key areas: regularization, relationship learning, feature propagation, optimization, and pre-training. This categorization not only chronologically outlines the development of MTL but also dives into various specialized strategies within each category. Furthermore, the survey reveals how the MTL evolves from handling a fixed set of tasks to embracing a more flexible approach free from task or modality constraints. It explores the concepts of task-promptable and -agnostic training, along with the capacity for ZSL, which unleashes the untapped potential of this historically coveted learning paradigm. Overall, we hope this survey provides the research community with a comprehensive overview of the advancements in MTL from its inception in 1997 to the present in 2023. We address present challenges and look ahead to future possibilities, shedding light on the opportunities and potential avenues for MTL research in a broad manner. This project is publicly available at https://github.com/junfish/Awesome-Multitask-Learning.
• Abstract（参考訳）: MTLは、タスク固有の情報と共有情報の両方を効果的に活用し、複数の関連するタスクに同時に対処する学習パラダイムである。 STLとは対照的に、MTLはトレーニングプロセスと推論効率の両方を向上させる一連のメリットを提供します。 MTLの主な利点は、合理化されたモデルアーキテクチャ、性能向上、ドメイン間の一般化性である。 過去20年間で、MTLはCV、NLP、レコメンデーションシステム、疾患の予後と診断、ロボット工学など様々な分野において、柔軟かつ効果的なアプローチとして広く認識されるようになった。 本調査は,従来のアプローチから深層学習への最先端手法の技術的側面と,事前訓練された基礎モデルの最新の動向を包括的に概説する。 本調査では,MTL手法を,正規化,関係学習,特徴伝達,最適化,事前学習の5つの重要な領域に分類した。 この分類は、時系列的にMTLの発展を概説するだけでなく、各カテゴリの様々な専門的な戦略にも踏み込んでいる。 さらに、調査では、MTLが固定されたタスクの集合を扱うことから、タスクやモダリティの制約から解放されたより柔軟なアプローチを受け入れるまで、どのように進化していくかを明らかにしている。 ZSLの能力は、歴史的に包括された学習パラダイムの未開拓の可能性を解き放つ。 本調査は,1997年開始から2023年現在までのMTLの進展を概観した総合的な概要を研究コミュニティに提供することを願っている。 我々は、現在の課題に対処し、将来の可能性に先んじ、幅広い方法でMTL研究の機会と可能性に光を当てる。 このプロジェクトはhttps://github.com/junfish/Awesome-Multitask-Learning.comで公開されている。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• Towards Principled Task Grouping for Multi-Task Learning [14.3385939018772]
  マルチタスク学習(MTL)におけるタスクグループ化への新しいアプローチを提案する。 我々の手法は、転送ゲインを構築するための制限的な仮定に依存しない、より理論的に基礎付けられた方法を提供する。
  論文  参考訳（メタデータ） (2024-02-23T13:51:20Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
  本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。 具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。 最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
  論文  参考訳（メタデータ） (2023-09-21T14:00:11Z)
• Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey [0.6240603866868214]
  MTL(Multi-Task Learning)は,共同学習による効率向上とパフォーマンス向上のための,有望なアプローチとして登場した。 本稿では,機械学習ライフサイクルの典型的な段階を通じて,MLLアプローチを使用する上での課題と機会について論じる。 MTLと継続学習の両方を扱えるモデルを持つことは現実的だと思います。
  論文  参考訳（メタデータ） (2023-08-16T09:11:00Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• Improving Multi-task Learning via Seeking Task-based Flat Regions [38.28600737969538]
  MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。 MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。 単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:19:30Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。