論文の概要: STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map

• arxiv url: http://arxiv.org/abs/2307.03374v2
• Date: Sun, 26 May 2024 04:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 12:18:33.730201
• Title: STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map
• Title（参考訳）: STG-MTL:データマップを用いたマルチタスク学習のためのスケーラブルタスクグループ化
• Authors: Ammar Sherif, Abubakar Abid, Mustafa Elattar, Mohamed ElHelw,
• Abstract要約: MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。 しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。 本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
• 参考スコア（独自算出の注目度）: 4.263847576433289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Task Learning (MTL) is a powerful technique that has gained popularity due to its performance improvement over traditional Single-Task Learning (STL). However, MTL is often challenging because there is an exponential number of possible task groupings, which can make it difficult to choose the best one because some groupings might produce performance degradation due to negative interference between tasks. That is why existing solutions are severely suffering from scalability issues, limiting any practical application. In our paper, we propose a new data-driven method that addresses these challenges and provides a scalable and modular solution for classification task grouping based on a re-proposed data-driven features, Data Maps, which capture the training dynamics for each classification task during the MTL training. Through a theoretical comparison with other techniques, we manage to show that our approach has the superior scalability. Our experiments show a better performance and verify the method's effectiveness, even on an unprecedented number of tasks (up to 100 tasks on CIFAR100). Being the first to work on such number of tasks, our comparisons on the resulting grouping shows similar grouping to the mentioned in the dataset, CIFAR100. Finally, we provide a modular implementation for easier integration and testing, with examples from multiple datasets and tasks.
• Abstract（参考訳）: MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりもパフォーマンスが向上し、人気を博した強力な技術である。 しかし、MTLには指数関数的な数のタスクグループ化が存在するため、いくつかのグループ化がタスク間の負の干渉によって性能劣化を引き起こす可能性があるため、最適なグループ化を選択するのが難しくなるため、しばしば困難である。 そのため、既存のソリューションはスケーラビリティの問題に悩まされており、実用的なアプリケーションに制限があります。 本稿では、これらの課題に対処する新しいデータ駆動手法を提案し、MTLトレーニング中の各分類タスクのトレーニングダイナミクスをキャプチャする、再提案されたデータ駆動機能に基づく分類タスクグループ化のためのスケーラブルでモジュール化されたソリューションであるData Mapsを提案する。 他の手法と理論的に比較することで、我々のアプローチが優れたスケーラビリティを持っていることを示すことができる。 CIFAR100では,前例のないタスク(最大100タスク)でも,優れた性能を示し,その有効性を検証した。 このようなタスクに最初に取り組み、結果のグルーピングの比較は、データセットであるCIFAR100と類似したグループ化を示している。 最後に、複数のデータセットやタスクの例を使って、統合とテストを簡単にするためのモジュール化された実装を提供します。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [6.789370732159176]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。