論文の概要: A Simple General Approach to Balance Task Difficulty in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2002.04792v1
• Date: Wed, 12 Feb 2020 04:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:10:57.169320
• Title: A Simple General Approach to Balance Task Difficulty in Multi-Task Learning
• Title（参考訳）: マルチタスク学習におけるタスクバランスの難しさに対する簡易的一般化
• Authors: Sicong Liang and Yu Zhang
• Abstract要約: マルチタスク学習では、異なるタスクの難易度が異なる。 本稿では,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。 提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。
• 参考スコア（独自算出の注目度）: 4.531240717484252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-task learning, difficulty levels of different tasks are varying. There are many works to handle this situation and we classify them into five categories, including the direct sum approach, the weighted sum approach, the maximum approach, the curriculum learning approach, and the multi-objective optimization approach. Those approaches have their own limitations, for example, using manually designed rules to update task weights, non-smooth objective function, and failing to incorporate other functions than training losses. In this paper, to alleviate those limitations, we propose a Balanced Multi-Task Learning (BMTL) framework. Different from existing studies which rely on task weighting, the BMTL framework proposes to transform the training loss of each task to balance difficulty levels among tasks based on an intuitive idea that tasks with larger training losses will receive more attention during the optimization procedure. We analyze the transformation function and derive necessary conditions. The proposed BMTL framework is very simple and it can be combined with most multi-task learning models. Empirical studies show the state-of-the-art performance of the proposed BMTL framework.
• Abstract（参考訳）: マルチタスク学習では、異なるタスクの難易度レベルが異なる。 この状況に対処する多くの作業があり、直接和法、重み付け和法、最大化法、カリキュラム学習法、多目的最適化法を含む5つのカテゴリに分類しています。 これらのアプローチには、手動で設計したルールを使用してタスクの重みを更新する、非滑らかな目的関数を使用する、トレーニング損失以外の機能を組み込む、といった、独自の制限がある。 本稿では,これらの制約を緩和するために,BMTL(Ba balanced Multi-Task Learning)フレームワークを提案する。 タスク重み付けに依存する既存の研究とは異なり、BMTLフレームワークは、最適化手順中により大きなトレーニング損失を持つタスクがより注目されるという直感的なアイデアに基づいて、各タスクのトレーニング損失をタスク間の難易度バランスに変換することを提案する。 変換関数を分析し,必要条件を導出する。 提案するBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができる。 実験により,提案したBMTLフレームワークの最先端性能を示す。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Task Selection and Assignment for Multi-modal Multi-task Dialogue Act Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
  マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。 これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。 本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T14:51:51Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Improving Multi-task Learning via Seeking Task-based Flat Regions [38.28600737969538]
  MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。 MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。 単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:19:30Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。