論文の概要: MOON: Multi-Objective OrthoNormalized Updates for Multitask Learning

• arxiv url: http://arxiv.org/abs/2608.11749v1
• Date: Wed, 12 Aug 2026 07:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.492408
• Title: MOON: Multi-Objective OrthoNormalized Updates for Multitask Learning
• Title（参考訳）: MOON:マルチタスク学習のための多目的orthoNormalized Update
• Abstract要約: 既存のほとんどの手法はモデルパラメータをベクトルに平らにし、ユークリッド幾何学の下で操作を行う。 本稿では、ユークリッド空間において、ノルム幾何学の下では、一般に最も急降下を生じないことを示す。 スペクトル勾配と標準幾何の下での操作を行うMOONを提案する。
• 参考スコア（独自算出の注目度）: 11.574264042827558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-objective optimization (MOO) has demonstrated significant success in multi-task learning by mitigating task conflicts through gradient manipulation. However, most existing methods flatten model parameters into vectors and perform gradient manipulation under Euclidean geometry, thereby overlooking the matrix structure prevalent in modern architectures such as Transformers. In this paper, we show that gradient manipulation in Euclidean space does not generally yield the steepest descent direction under matrix geometry, potentially limiting optimization efficiency. Drawing from the theory of steepest descent for matrix-valued parameters, we propose MOON (Multi-Objective OrthoNormalized Updates), which performs gradient manipulation under spectral--nuclear norm geometry and uses the orthonormalized manipulated gradient for parameter updates. Theoretically, for smooth non-convex objectives, we establish convergence of the averaged Pareto-stationarity measure at rates of $\mathcal{O}(T^{-1/2})$ in the deterministic setting and $\mathcal{O}(T^{-1/4})$ under stochastic gradients. Empirical results across various benchmarks show that MOON consistently improves both optimization efficiency and final multi-task performance. Our code is available at https://github.com/KunlinLyu/MOON.
• Abstract（参考訳）: 多目的最適化(MOO)は、勾配操作によるタスク競合を軽減し、マルチタスク学習において大きな成功を収めた。 しかし、既存のほとんどの手法はモデルパラメータをベクトルに平らにし、ユークリッド幾何学の下で勾配操作を行い、トランスフォーマーのような現代のアーキテクチャでよく見られる行列構造を見渡す。 本稿では、ユークリッド空間における勾配の操作が、行列幾何学の下で最も急勾配の方向を導かないことを示し、最適化効率を制限している可能性がある。 行列値パラメータの最急降下理論から、スペクトル-核ノルム幾何の下で勾配演算を行い、正規正規化操作された勾配をパラメータ更新に用いるMOON(Multi-Objective OrthoNormalized Updates)を提案する。 理論的には、滑らかな非凸目的に対して、決定論的設定で$\mathcal{O}(T^{-1/4})$と$\mathcal{O}(T^{-1/4})$の速度で平均パレート定常度尺度の収束を確立する。 様々なベンチマークによる実験結果から、MOONは最適化効率と最終的なマルチタスク性能の両方を一貫して改善することが示された。 私たちのコードはhttps://github.com/KunlinLyu/MOON.comで利用可能です。

関連論文リスト

• AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
  我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
  論文  参考訳（メタデータ） (2025-09-03T03:42:22Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• Improving Adaptive Moment Optimization via Preconditioner Diagonalization [11.01832755213396]
  提案手法は,現代適応法の収束速度を大幅に向上させることができることを示す。 LLaMAのような大きな言語モデルでは、ベースラインであるAdamと比較して2倍のスピードアップが達成できます。
  論文  参考訳（メタデータ） (2025-02-11T11:48:04Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Global optimization of MPS in quantum-inspired numerical analysis [0.0]
  この研究は、ハミルトン方程式の最も低い固有状態の探索に焦点を当てている。 5つのアルゴリズムが導入された: 想像時間進化、最も急勾配降下、改良された降下、暗黙的に再起動されたアルノルニ法、密度行列再正規化群 (DMRG) 最適化。
  論文  参考訳（メタデータ） (2023-03-16T16:03:51Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。