論文の概要: Improvable Gap Balancing for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2307.15429v1
• Date: Fri, 28 Jul 2023 09:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 13:03:11.117088
• Title: Improvable Gap Balancing for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のためのギャップバランスの改善
• Authors: Yanqi Dai, Nanyi Fei, Zhiwu Lu
• Abstract要約: マルチタスク学習(MTL)のための2つの新しいIGBアルゴリズムを提案する。 1つは単純で、もう1つは(初めて)MTLのための深層強化学習をデプロイする。 我々の IGB アルゴリズムは損失分散による MTL の最良の結果をもたらし、勾配分散と組み合わせることでさらなる改善を実現する。
• 参考スコア（独自算出の注目度）: 15.582333026781004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-task learning (MTL), gradient balancing has recently attracted more research interest than loss balancing since it often leads to better performance. However, loss balancing is much more efficient than gradient balancing, and thus it is still worth further exploration in MTL. Note that prior studies typically ignore that there exist varying improvable gaps across multiple tasks, where the improvable gap per task is defined as the distance between the current training progress and desired final training progress. Therefore, after loss balancing, the performance imbalance still arises in many cases. In this paper, following the loss balancing framework, we propose two novel improvable gap balancing (IGB) algorithms for MTL: one takes a simple heuristic, and the other (for the first time) deploys deep reinforcement learning for MTL. Particularly, instead of directly balancing the losses in MTL, both algorithms choose to dynamically assign task weights for improvable gap balancing. Moreover, we combine IGB and gradient balancing to show the complementarity between the two types of algorithms. Extensive experiments on two benchmark datasets demonstrate that our IGB algorithms lead to the best results in MTL via loss balancing and achieve further improvements when combined with gradient balancing. Code is available at https://github.com/YanqiDai/IGB4MTL.
• Abstract（参考訳）: MTL(Multi-task Learning)では、近年、損失分散よりもグラデーションバランスが研究の関心を惹きつけている。 しかし、損失バランスは勾配バランスよりもはるかに効率的であり、MTLにおけるさらなる探索の価値がある。 従来の研究では、複数のタスクに様々な即興的なギャップが存在し、そこではタスクごとの即興的なギャップが現在のトレーニングの進捗と望ましい最終トレーニングの進捗の間の距離として定義される。 したがって、損失バランスの後も性能不均衡が発生することが多い。 本稿では、損失分散フレームワークに倣って、MTLのための2つの新しい即効性ギャップ分散(IGB)アルゴリズムを提案し、一方は単純なヒューリスティックを、もう一方は(初めて)MTLのための深層強化学習を展開させる。 特に、MTLの損失を直接バランスする代わりに、両アルゴリズムは即効性のギャップバランスのためにタスク重みを動的に割り当てる。 さらに,2種類のアルゴリズム間の相補性を示すために,igbと勾配バランスを組み合わせる。 2つのベンチマークデータセットに対する大規模な実験により、我々の IGB アルゴリズムは損失分散を通じて MTL の最良の結果をもたらし、勾配分散と組み合わせることでさらなる改善が達成されることを示した。 コードはhttps://github.com/YanqiDai/IGB4MTLで入手できる。

関連論文リスト

• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Dual-Balancing for Multi-Task Learning [42.613360970194734]
  本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。 DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
  論文  参考訳（メタデータ） (2023-08-23T09:41:28Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• Efficient Generalization Improvement Guided by Random Weight Perturbation [24.027159739234524]
  Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。 我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。 我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-21T14:24:34Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。