論文の概要: MT2ST: Adaptive Multi-Task to Single-Task Learning

• arxiv url: http://arxiv.org/abs/2406.18038v3
• Date: Wed, 11 Dec 2024 13:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:58:50.958434
• Title: MT2ST: Adaptive Multi-Task to Single-Task Learning
• Title（参考訳）: MT2ST:シングルタスク学習への適応型マルチタスク
• Authors: Dong Liu, Yanxuan Yu,
• Abstract要約: Multi-Task to Single-Task (MT2ST) は、単語埋め込みタスクの訓練効率と精度を高めるために設計された。 我々のフレームワークは、補助的なタスクの影響を徐々に減らす*Diminish*と、特定の時点でMTLからSTLへトレーニングを移行する*Switch*の2つの戦略を採用している。 実験の結果,MT2STはSTLと比較してトレーニング時間を67%削減し,従来のMTLに比べて13%短縮し,高い精度を維持した。
• 参考スコア（独自算出の注目度）: 6.185573921868495
• License:
• Abstract: Efficient machine learning (ML) has become increasingly important as models grow larger and data volumes expand. In this work, we address the trade-off between generalization in multi-task learning (MTL) and precision in single-task learning (STL) by introducing the Multi-Task to Single-Task (MT2ST) framework. MT2ST is designed to enhance training efficiency and accuracy in word embedding tasks, showcasing its value as a practical application of efficient ML. Our framework employs two strategies: *Diminish*, which gradually reduces the influence of auxiliary tasks, and *Switch*, which transitions training from MTL to STL at a specific point. Empirical results show that MT2ST reduces training time by 67\% compared to STL and by 13\% compared to traditional MTL, while maintaining high accuracy. These findings highlight MT2ST as an efficient ML solution tailored for optimizing word embedding training. Code is available at https://github.com/NoakLiu/MT2ST.
• Abstract（参考訳）: モデルが大きくなり、データボリュームが拡大するにつれて、機械学習(ML)がますます重要になっている。 本研究では,マルチタスク学習(MTL)における一般化とシングルタスク学習(STL)における精度のトレードオフを,マルチタスクからシングルタスクへ(MT2ST)フレームワークを導入することで解決する。 MT2STは、単語埋め込みタスクの訓練効率と精度を高めるために設計されており、その価値を効率的なMLの実践的応用として示している。 我々のフレームワークは、補助的なタスクの影響を徐々に減らす*Diminish*と、特定の時点でMTLからSTLへトレーニングを移行する*Switch*の2つの戦略を採用している。 実験の結果,MT2STはSTLと比較してトレーニング時間を67%削減し,従来のMTLに比べて13倍短縮し,高精度を維持した。 これらの結果から,単語埋め込み訓練の最適化に適した効率的なMLソリューションとしてMT2STが注目されている。 コードはhttps://github.com/NoakLiu/MT2STで入手できる。

関連論文リスト

• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
  本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。 基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。 MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2022-10-13T12:59:54Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods [17.094426577723507]
  自然言語処理(NLP)において,マルチタスク学習(MTL)がますます普及している。 共通点と相違点を活用することで、関連するタスクのパフォーマンスを向上させる。 トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかは、まだよく理解されていない。
  論文  参考訳（メタデータ） (2022-04-07T15:22:19Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
  論文  参考訳（メタデータ） (2020-10-29T08:25:43Z)
• Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
  マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。 深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
  論文  参考訳（メタデータ） (2020-09-10T19:31:04Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。