論文の概要: MT2ST: Adaptive Multi-Task to Single-Task Learning

• arxiv url: http://arxiv.org/abs/2406.18038v3
• Date: Wed, 11 Dec 2024 13:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:58:50.958434
• Title: MT2ST: Adaptive Multi-Task to Single-Task Learning
• Title（参考訳）: MT2ST:シングルタスク学習への適応型マルチタスク
• Authors: Dong Liu, Yanxuan Yu,
• Abstract要約: Multi-Task to Single-Task (MT2ST) は、単語埋め込みタスクの訓練効率と精度を高めるために設計された。 我々のフレームワークは、補助的なタスクの影響を徐々に減らす*Diminish*と、特定の時点でMTLからSTLへトレーニングを移行する*Switch*の2つの戦略を採用している。 実験の結果,MT2STはSTLと比較してトレーニング時間を67%削減し,従来のMTLに比べて13%短縮し,高い精度を維持した。
• 参考スコア（独自算出の注目度）: 6.185573921868495
• License:
• Abstract: Efficient machine learning (ML) has become increasingly important as models grow larger and data volumes expand. In this work, we address the trade-off between generalization in multi-task learning (MTL) and precision in single-task learning (STL) by introducing the Multi-Task to Single-Task (MT2ST) framework. MT2ST is designed to enhance training efficiency and accuracy in word embedding tasks, showcasing its value as a practical application of efficient ML. Our framework employs two strategies: *Diminish*, which gradually reduces the influence of auxiliary tasks, and *Switch*, which transitions training from MTL to STL at a specific point. Empirical results show that MT2ST reduces training time by 67\% compared to STL and by 13\% compared to traditional MTL, while maintaining high accuracy. These findings highlight MT2ST as an efficient ML solution tailored for optimizing word embedding training. Code is available at https://github.com/NoakLiu/MT2ST.
• Abstract（参考訳）: モデルが大きくなり、データボリュームが拡大するにつれて、機械学習(ML)がますます重要になっている。 本研究では,マルチタスク学習(MTL)における一般化とシングルタスク学習(STL)における精度のトレードオフを,マルチタスクからシングルタスクへ(MT2ST)フレームワークを導入することで解決する。 MT2STは、単語埋め込みタスクの訓練効率と精度を高めるために設計されており、その価値を効率的なMLの実践的応用として示している。 我々のフレームワークは、補助的なタスクの影響を徐々に減らす*Diminish*と、特定の時点でMTLからSTLへトレーニングを移行する*Switch*の2つの戦略を採用している。 実験の結果,MT2STはSTLと比較してトレーニング時間を67%削減し,従来のMTLに比べて13倍短縮し,高精度を維持した。 これらの結果から,単語埋め込み訓練の最適化に適した効率的なMLソリューションとしてMT2STが注目されている。 コードはhttps://github.com/NoakLiu/MT2STで入手できる。

関連論文リスト

• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
  大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。 パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。 本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T17:43:58Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
  CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。 本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
  本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。 基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。 MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-10-13T12:59:54Z)
• When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning [15.39115079099451]
  近年,自然言語処理における伝達学習(TL)への関心が高まっている。 微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。 GLUEデータセットの包括的解析において,3つのTL手法を比較した。
  論文  参考訳（メタデータ） (2022-05-17T06:48:45Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。