論文の概要: MT2ST: Adaptive Multi-Task to Single-Task Learning
- arxiv url: http://arxiv.org/abs/2406.18038v1
- Date: Wed, 26 Jun 2024 03:12:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 14:48:10.414126
- Title: MT2ST: Adaptive Multi-Task to Single-Task Learning
- Title（参考訳）: MT2ST:シングルタスク学習への適応型マルチタスク
- Authors: Dong Liu, Meng Jiang,
- Abstract要約: Multi-Task to Single-Task (MT2ST) は単語埋め込み訓練の効率と精度を大幅に向上させる新しい手法である。
実験により,MT2STはシングルタスク学習と比較してトレーニング時間を67%短縮できることが示された。
- 参考スコア（独自算出の注目度）: 22.210886585639063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The conventional training approaches often face challenges in balancing the breadth of multi-task learning (MTL) with the depth of single-task learning (STL). To address this issue, we introduce the Multi-Task to Single-Task (MT2ST) framework, a groundbreaking approach that can combine the generalizability of MTL with the precision of STL. Our work include two strategies: 'Diminish' and 'Switch'. 'Diminish' Strategy will gradually reduce the influence of auxiliary tasks, while the 'Switch' strategy involves a shift from multi-tasking to single-tasking at a specific timepoint at the training process. In this paper, we propose the Multi-Task to Single-Task (MT2ST) framework, a novel approach that significantly enhances the efficiency and accuracy of word embedding training while concurrently addressing prevalent issues such as overfitting. Our empirical studies demonstrate that MT2ST can reduce training time by 67\% when contrasted with single-task learning approaches, and by 13\% compared to traditional multi-task learning methods. These findings underscore MT2ST's potential to be a powerful tools for word embedding training acceleration.
- Abstract（参考訳）: 従来のトレーニングアプローチでは、マルチタスク学習(MTL)の幅とシングルタスク学習(STL)の深さのバランスをとる上で、しばしば課題に直面している。
この問題に対処するために,Multi-Task to Single-Task (MT2ST) フレームワークを導入する。
私たちの活動には、"Diminish"と"Switch"の2つの戦略があります。
「ダイミッシュ」
戦略は、補助的なタスクの影響を徐々に減らし、一方で「スイッチ」戦略は、トレーニングプロセスの特定の時点において、マルチタスクからシングルタスクへとシフトする。
本稿では,単語埋め込み訓練の効率と精度を大幅に向上させるとともに,過度な適合などの問題に対処する新しい手法であるMT2ST(Multi-Task to Single-Task)フレームワークを提案する。
実験により,MT2STは,従来のマルチタスク学習法と比較して,シングルタスク学習法と比較して,トレーニング時間を67%削減できることがわかった。
これらの知見は,単語埋め込み訓練促進のための強力なツールであるMT2STの可能性を裏付けるものである。
関連論文リスト
- Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。
ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。
ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
論文 参考訳（メタデータ） (2025-01-23T07:49:24Z) - MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳（メタデータ） (2024-06-17T10:12:45Z) - MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。
パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。
本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
論文 参考訳（メタデータ） (2024-03-29T17:43:58Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳（メタデータ） (2023-08-10T17:37:49Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-26T15:40:24Z) - Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。
基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。
MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
論文 参考訳（メタデータ） (2022-10-13T12:59:54Z) - When to Use Multi-Task Learning vs Intermediate Fine-Tuning for
Pre-Trained Encoder Transfer Learning [15.39115079099451]
近年,自然言語処理における伝達学習(TL)への関心が高まっている。
微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。
GLUEデータセットの包括的解析において,3つのTL手法を比較した。
論文 参考訳（メタデータ） (2022-05-17T06:48:45Z) - Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。
本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。
実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
論文 参考訳（メタデータ） (2020-01-10T03:12:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。