論文の概要: Feed m Birds with One Scone: Accelerating Multi-task Gradient Balancing via Bi-level Optimization

• arxiv url: http://arxiv.org/abs/2603.07389v1
• Date: Sun, 08 Mar 2026 00:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.395853
• Title: Feed m Birds with One Scone: Accelerating Multi-task Gradient Balancing via Bi-level Optimization
• Title（参考訳）: フィードm Birds with one Scone:Accelerating Multi-task Gradient Balancing via Bi-level Optimization
• Authors: Xuxing Chen, Yun He, Jiayi Xu, Minhui Huang, Xiaoyi Liu, Boyang Liu, Fei Tian, Xiaohan Wei, Rong Jin, Sem Park, Bo Long, Xue Feng,
• Abstract要約: 機械学習では、マルチタスク学習(MTL)の目標は、複数の目的を同時に最適化することである。 MTL問題を効率的に解くための統合アルゴリズムフレームワークであるMARIGOLDを紹介する。 本手法により,マルチタスク勾配バランス法は階層構造を持ち,モデルトレーニングと勾配バランスが結合されることがわかった。
• 参考スコア（独自算出の注目度）: 26.389161409549107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, the goal of multi-task learning (MTL) is to optimize multiple objectives together. Recent works, for example, Multiple Gradient Descent Algorithm (MGDA) and its variants, show promising results with dynamically adjusted weights for different tasks to mitigate conflicts that may potentially degrade the performance on certain tasks. Despite the empirical success of MGDA-type methods, one major limitation of such methods is their computational inefficiency, as they require access to all task gradients. In this paper we introduce MARIGOLD, a unified algorithmic framework for efficiently solving MTL problems. Our method reveals that multi-task gradient balancing methods have a hierarchical structure, in which the model training and the gradient balancing are coupled during the whole optimization process and can be viewed as a bi-level optimization problem. Moreover, we showcase that the bi-level problem can be solved efficiently by leveraging zeroth-order method. Extensive experiments on both public datasets and industrial-scale datasets demonstrate the efficiency and superiority of our method.
• Abstract（参考訳）: 機械学習では、マルチタスク学習(MTL)の目標は、複数の目的を同時に最適化することである。 最近の研究、例えばMultiple Gradient Descent Algorithm(MGDA)とその変種は、特定のタスクのパフォーマンスを低下させる可能性のある競合を軽減するために、様々なタスクに対して動的に調整された重みを持つ有望な結果を示している。 MGDA型手法の実証的な成功にもかかわらず、そのような手法の1つの大きな制限は、全てのタスク勾配へのアクセスを必要とするため、計算の非効率性である。 本稿では,MTL問題を効率的に解くための統合アルゴリズムフレームワークであるMARIGOLDを紹介する。 本手法により,マルチタスク勾配バランス法は階層構造を持ち,モデルトレーニングと勾配バランスを最適化プロセス全体で結合し,二段階最適化問題とみなすことができることがわかった。 さらに,ゼロ次法を応用して,二段階問題を効率的に解けることを示す。 公共データセットと産業規模データセットの両方に関する大規模な実験は、我々の手法の効率性と優越性を実証している。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。