論文の概要: Scalable Bilevel Loss Balancing for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2502.08585v1
• Date: Wed, 12 Feb 2025 17:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:36.945185
• Title: Scalable Bilevel Loss Balancing for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のためのスケーラブルな2レベル損失バランス
• Authors: Peiyao Xiao, Chaosheng Dong, Shaofeng Zou, Kaiyi Ji,
• Abstract要約: マルチタスク学習(MTL)は、複数のタスクを同時に学習する能力に広く採用されている。 MTLのためのシンプルでスケーラブルな損失分散手法であるBiLB4MTLを提案する。 BiLB4MTLは最先端の性能を精度と効率の両方で達成する。
• 参考スコア（独自算出の注目度）: 30.689399230097667
• License:
• Abstract: Multi-task learning (MTL) has been widely adopted for its ability to simultaneously learn multiple tasks. While existing gradient manipulation methods often yield more balanced solutions than simple scalarization-based approaches, they typically incur a significant computational overhead of $\mathcal{O}(K)$ in both time and memory, where $K$ is the number of tasks. In this paper, we propose BiLB4MTL, a simple and scalable loss balancing approach for MTL, formulated from a novel bilevel optimization perspective. Our method incorporates three key components: (i) an initial loss normalization, (ii) a bilevel loss-balancing formulation, and (iii) a scalable first-order algorithm that requires only $\mathcal{O}(1)$ time and memory. Theoretically, we prove that BiLB4MTL guarantees convergence not only to a stationary point of the bilevel loss balancing problem but also to an $\epsilon$-accurate Pareto stationary point for all $K$ loss functions under mild conditions. Extensive experiments on diverse multi-task datasets demonstrate that BiLB4MTL achieves state-of-the-art performance in both accuracy and efficiency. Code is available at https://github.com/OptMN-Lab/-BiLB4MTL.
• Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクを同時に学習する能力に広く採用されている。 既存の勾配操作法は単純なスカラー化に基づく手法よりもバランスの取れた解を得ることが多いが、通常は時間とメモリの両方で$\mathcal{O}(K)$の計算オーバーヘッドが生じる。 本稿では,新しい双レベル最適化の観点から構成した,MTLのためのシンプルでスケーラブルな損失分散手法であるBiLB4MTLを提案する。 提案手法には3つの重要な要素が組み込まれている。 (i)初期損失正規化 (二)二水準損失バランスの定式化及び (iii)$\mathcal{O}(1)$時間とメモリを必要とするスケーラブルな一階述語アルゴリズム。 理論的には、BiLB4MTLは二値損失分散問題の定常点だけでなく、穏やかな条件下での全てのK$損失関数に対して$\epsilon$-accurate Pareto定常点への収束を保証する。 多様なマルチタスクデータセットに対する大規模な実験は、BiLB4MTLが精度と効率の両方で最先端のパフォーマンスを達成することを示した。 コードはhttps://github.com/OptMN-Lab/-BiLB4MTLで入手できる。

関連論文リスト

• MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
  多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。 最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。 一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
  論文  参考訳（メタデータ） (2024-05-29T18:36:59Z)
• A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation [66.26739783789387]
  我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。 MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。 本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
  論文  参考訳（メタデータ） (2023-11-26T08:31:57Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Improvable Gap Balancing for Multi-Task Learning [15.582333026781004]
  マルチタスク学習(MTL)のための2つの新しいIGBアルゴリズムを提案する。 1つは単純で、もう1つは(初めて)MTLのための深層強化学習をデプロイする。 我々の IGB アルゴリズムは損失分散による MTL の最良の結果をもたらし、勾配分散と組み合わせることでさらなる改善を実現する。
  論文  参考訳（メタデータ） (2023-07-28T09:26:03Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• Blockwise Stochastic Variance-Reduced Methods with Parallel Speedup for Multi-Block Bilevel Optimization [43.74656748515853]
  非定常多重ブロック双レベル最適化問題には$mgg 1$低レベル問題があり、機械学習において重要な応用がある。 a)標準BO問題の最先端の複雑さを1ブロックに合わせること,(b)サンプルブロックごとのサンプルをサンプリングして並列高速化すること,(c)高次元ヘッセン行列推定器の逆計算を避けること,の3つの特性を実現することを目的とする。
  論文  参考訳（メタデータ） (2023-05-30T04:10:11Z)
• Probabilistic Contrastive Learning for Domain Adaptation [42.33633916857581]
  コントラスト学習は、様々な視覚的タスクにおいて、自己指導的な方法で特徴識別性を高めることに顕著な成功を収めた。 標準コントラッシブパラダイム (Features+$ell_2$ normalization) は、ドメイン適応に適用した場合の利点に制限がある。 本稿では,標準パラダイムを超える確率論的コントラスト学習(PCL)を提案する。 PCLは、確率分布を1ホット構成に導くことができ、特徴とクラス重みの差を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-11-11T02:08:07Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
  低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。 MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
  論文  参考訳（メタデータ） (2021-05-18T06:46:48Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。