論文の概要: Optimization Strategies in Multi-Task Learning: Averaged or Independent Losses?

• arxiv url: http://arxiv.org/abs/2109.11678v2
• Date: Mon, 4 Oct 2021 15:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-10 15:59:38.746531
• Title: Optimization Strategies in Multi-Task Learning: Averaged or Independent Losses?
• Title（参考訳）: マルチタスク学習における最適化戦略:平均損失か独立損失か?
• Authors: Lucas Pascal and Pietro Michiardi and Xavier Bost and Benoit Huet and Maria A. Zuluaga
• Abstract要約: マルチタスク学習(MTL)では,タスク固有の目的関数の重み付け平均である目的関数を最適化することにより,マルチタスクネットワークのトレーニングを行うのが一般的である。 本研究では,タスク固有目的関数の独立勾配降下ステップを交互に交互に行うことで,そのような代替手段の利点を考察する。 ランダムなグループ化戦略は,これらの利点と計算効率のトレードオフを可能にすることを示す。
• 参考スコア（独自算出の注目度）: 15.905060482249873
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In Multi-Task Learning (MTL), it is a common practice to train multi-task networks by optimizing an objective function, which is a weighted average of the task-specific objective functions. Although the computational advantages of this strategy are clear, the complexity of the resulting loss landscape has not been studied in the literature. Arguably, its optimization may be more difficult than a separate optimization of the constituting task-specific objectives. In this work, we investigate the benefits of such an alternative, by alternating independent gradient descent steps on the different task-specific objective functions and we formulate a novel way to combine this approach with state-of-the-art optimizers. As the separation of task-specific objectives comes at the cost of increased computational time, we propose a random task grouping as a trade-off between better optimization and computational efficiency. Experimental results over three well-known visual MTL datasets show better overall absolute performance on losses and standard metrics compared to an averaged objective function and other state-of-the-art MTL methods. In particular, our method shows the most benefits when dealing with tasks of different nature and it enables a wider exploration of the shared parameter space. We also show that our random grouping strategy allows to trade-off between these benefits and computational efficiency.
• Abstract（参考訳）: マルチタスク学習(MTL)では,タスク固有の目的関数の重み付け平均である目的関数を最適化することにより,マルチタスクネットワークのトレーニングを行うのが一般的である。 この戦略の計算上の利点は明らかであるが、結果として生じる損失景観の複雑さは文献では研究されていない。 おそらく、その最適化は、タスク固有の目的を構成する別の最適化よりも難しいかもしれない。 本研究では,異なるタスク固有の目的関数に対して,独立な勾配降下ステップを交互に行うことで,このような代替手段の利点を検証し,このアプローチを最先端最適化器と組み合わせる新しい方法を考案する。 タスク固有の目的の分離は計算時間の増加によるコストがかかるため,より優れた最適化と計算効率のトレードオフとしてランダムなタスクグループ化を提案する。 3つのよく知られた視覚的MTLデータセットに対する実験結果から、平均的目的関数や他の最先端のMTL手法と比較して、損失と標準指標に対する全体的な絶対的パフォーマンスが向上した。 特に本手法は,異なる性質のタスクを扱う場合の最大の利点を示し,共有パラメータ空間のより広い探索を可能にする。 また、ランダムなグループ化戦略は、これらの利点と計算効率のトレードオフを可能にすることを示す。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
  本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。 具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。 最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
  論文  参考訳（メタデータ） (2023-09-21T14:00:11Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Multi-Task Learning on Networks [0.0]
  マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。 この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。 確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
  論文  参考訳（メタデータ） (2021-12-07T09:13:10Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。