論文の概要: Delve into the Applicability of Advanced Optimizers for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2604.08939v1
• Date: Fri, 10 Apr 2026 04:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.677755
• Title: Delve into the Applicability of Advanced Optimizers for Multi-Task Learning
• Title（参考訳）: マルチタスク学習における高度な最適化手法の適用性についての一考察
• Authors: Zhipeng Zhou, Linxiao Cao, Pengcheng Wu, Peilin Zhao, Chunyan Miao,
• Abstract要約: MTL(Multi-Task Learning)は、機械学習の問題であり、過去10年間に広範囲に開発されてきた。 APT(Advanced oPizers)は,高度とMTLの強度のバランスをとるために設計された,シンプルな適応運動量機構を備えたフレームワークである。
• 参考スコア（独自算出の注目度）: 70.80216936064654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Task Learning (MTL) is a foundational machine learning problem that has seen extensive development over the past decade. Recently, various optimization-based MTL approaches have been proposed to learn multiple tasks simultaneously by altering the optimization trajectory. Although these methods strive to de-conflict and re-balance tasks, we empirically identify that their effectiveness is often undermined by an overlooked factor when employing advanced optimizers: the instant-derived gradients play only a marginal role in the actual parameter updates. This discrepancy prevents MTL frameworks from fully releasing its power on learning dynamics. Furthermore, we observe that Muon-a recently emerged advanced optimizer-inherently functions as a multi-task learner, which underscores the critical importance of the gradients used for its orthogonalization. To address these issues, we propose APT (Applicability of advanced oPTimizers), a framework featuring a simple adaptive momentum mechanism designed to balance the strengths between advanced optimizers and MTL. Additionally, we introduce a light direction preservation method to facilitate Muon's orthogonalization. Extensive experiments across four mainstream MTL datasets demonstrate that APT consistently augments existing MTL approaches, yielding substantial performance improvements.
• Abstract（参考訳）: MTL(Multi-Task Learning)は、過去10年間に幅広く開発されてきた基礎的な機械学習問題である。 近年,最適化軌道を変更して複数のタスクを同時に学習するために,最適化に基づく様々なMTL手法が提案されている。 これらの手法はタスクの非競合化と再バランス化を図っているが、先進的なオプティマイザを用いる場合、その効果が見落とされがちな要因によって損なわれることが実証的に確認されている。 この不一致は、MTLフレームワークが動的学習のパワーを完全に解放するのを防ぐ。 さらに,最近登場した多タスク学習者としての高度最適化機能であるMuon-aが,その直交化に使用される勾配の重要さを浮き彫りにした。 これらの問題に対処するため,先進オプティマイザとMPLの強度のバランスをとるためのシンプルな適応運動量機構を備えたフレームワークであるAPT(Advanced oPTimizers)を提案する。 さらに,ミュオンの直交化を促進するために光方向保存法を導入する。 4つのメインストリームMTLデータセットにわたる大規模な実験により、APTは既存のMTLアプローチを一貫して強化し、大幅なパフォーマンス改善を実現している。

関連論文リスト

• Injecting Imbalance Sensitivity for Multi-Task Learning [36.60453299563175]
  マルチタスク学習(MTL)は、リアルタイムアプリケーションにディープラーニングモデルをデプロイするための有望なアプローチとして登場した。 近年,MLLにおけるタスク共有表現を確立するための最適化に基づく学習パラダイムが提案されている。 本稿は、これらの研究が主に紛争問題を強調しつつ、MTLにおける不均衡/支配の潜在的に重大な影響を無視していることを実証的に論じる。
  論文  参考訳（メタデータ） (2025-03-11T03:11:54Z)
• Continual Optimization with Symmetry Teleportation for Multi-Task Learning [73.28772872740744]
  マルチタスク学習(MTL)は、1つのモデルを用いて複数のタスクの同時学習を可能にする。 シンメトリ・テレポーテーション(COST)を用いた連続最適化に基づく新しい手法を提案する。 COSTは、競合の勾配を減らすために、損失ランドスケープに別の損失等価点を求める。
  論文  参考訳（メタデータ） (2025-03-06T02:58:09Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Independent Component Alignment for Multi-Task Learning [2.5234156040689237]
  マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。 MTL最適化の安定性基準として線形勾配系の条件数を用いる。 本稿では,提案基準に基づく新しいMTL最適化手法であるAligned-MTLを提案する。
  論文  参考訳（メタデータ） (2023-05-30T12:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。