論文の概要: Accelerating LMO-Based Optimization via Implicit Gradient Transport

• arxiv url: http://arxiv.org/abs/2605.05577v1
• Date: Thu, 07 May 2026 01:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.480208
• Title: Accelerating LMO-Based Optimization via Implicit Gradient Transport
• Title（参考訳）: 入射勾配輸送によるLMO最適化の高速化
• Authors: Won-Jun Jang, Si-Hyeon Lee,
• Abstract要約: 暗黙的勾配輸送(IGT)を利用したLMO法を正規化する新しいクラスであるemphLMO-IGTを提案する。 LMO-IGTは搬送された点の勾配を評価することにより、標準LMOの1段階毎の勾配構造を維持しながら収束を加速する。 我々の分析によれば、LMOは$mathcalO(varepsilon-4)$、分散還元されたLMOは$mathcalO(varepsilon-3)$、コスト追加勾配評価において$mathcalO(varepsilon-3)$を達成する。
• 参考スコア（独自算出の注目度）: 10.973489259319841
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent optimizers such as Lion and Muon have demonstrated strong empirical performance by normalizing gradient momentum via linear minimization oracles (LMOs). While variance reduction has been explored to accelerate LMO-based methods, it typically incurs substantial computational overhead due to additional gradient evaluations. At the same time, the theoretical understanding of LMO-based methods remains fragmented across unconstrained and constrained formulations. Motivated by these limitations, we propose \emph{LMO-IGT}, a new class of stochastic LMO-based methods leveraging implicit gradient transport (IGT). We further introduce a unified framework for stochastic LMO-based optimization together with a new stationarity measure, the \emph{regularized support function} (RSF), which bridges gradient-norm and Frank--Wolfe-gap notions within a common framework. By evaluating stochastic gradients at transported points, LMO-IGT accelerates convergence while retaining the single-gradient-per-iteration structure of standard stochastic LMO. Our analysis establishes that stochastic LMO achieves an iteration complexity of $\mathcal{O}(\varepsilon^{-4})$, variance-reduced LMO achieves $\mathcal{O}(\varepsilon^{-3})$ at the cost of additional gradient evaluations, and LMO-IGT achieves $\mathcal{O}(\varepsilon^{-3.5})$ using only a single stochastic gradient per iteration. Empirically, LMO-IGT consistently improves over stochastic LMO counterparts with negligible overhead. Among its instantiations, Muon-IGT achieves the strongest overall performance across evaluated settings, demonstrating that IGT provides an effective and practical acceleration mechanism for modern LMO-based optimization.
• Abstract（参考訳）: ライオンやムオンのような最近の最適化器は、線形最小化オラクル(LMO)を通した勾配運動量正規化により、強い経験的性能を示した。 分散低減はLMOベースの手法を高速化するために検討されているが、通常、さらなる勾配評価のためにかなりの計算オーバーヘッドを発生させる。 同時に、LMOに基づく手法の理論的理解は、制約のない定式化と制約のない定式化の間で断片化されている。 これらの制約により、暗黙的勾配輸送(IGT)を利用した新しい確率的LMO法である \emph{LMO-IGT} を提案する。 さらに、確率的LMOに基づく最適化のための統一フレームワークと、新しい定常度尺度である 'emph{regularized support function} (RSF) を導入し、共通のフレームワーク内で勾配ノルムとフランク-ウルフ-ギャップの概念を橋渡しする。 輸送された点における確率勾配を評価することにより、LMO-IGTは標準確率 LMO の1次階調構造を維持しながら収束を加速する。 我々の分析は、確率的 LMO が $\mathcal{O}(\varepsilon^{-4})$, 分散還元 LMO が $\mathcal{O}(\varepsilon^{-3})$, 追加勾配評価のコストで $\mathcal{O}(\varepsilon^{-3.5})$, LMO-IGT が $\mathcal{O}(\varepsilon^{-3.5})$ の反復複雑性を達成することを証明している。 経験的に、LMO-IGTは、無視できるオーバーヘッドを持つ確率的なLMOよりも一貫して改善されている。 Muon-IGT は評価された設定の中で最強の総合的な性能を達成し、IGT が現代の LMO ベースの最適化に有効かつ実用的な加速メカニズムを提供することを示した。

関連論文リスト

• Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization [40.95701844244596]
  2つの相補的原理を統一することにより、ZO最適化を大幅に改善できることを示す。 我々は、ZO設定において、自然解釈を低ランクのミューオンとして認める新しい方法、ZO-ムオンをインスタンス化する。
  論文  参考訳（メタデータ） (2026-02-19T08:08:33Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Manifold constrained steepest descent [0.0]
  多様体上の最適化のための単一ループフレームワークであるemphManifold Constrained Steepest Descent (MCSD)を提案する。 また、Stiefel多様体上のMCSDのスペクトル特殊化であるemphSPELを導入する。
  論文  参考訳（メタデータ） (2026-01-29T10:08:37Z)
• Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning [8.349781300731225]
  LOREN (curvature-aware zeroth-order (ZO) optimization method for fine-tuning large language model (LLMs)) を紹介する。 乱摂動を用いた有限差分による勾配推定を行う既存のZO法は、しばしば高いばらつきと準最適探索方向に悩まされる。 i) 勾配推定のための異方性摂動分布を適応的に推定し, (ii) 低ランクブロック対角前処理器で曲率を計測し, (iii) ばらつきを抑えるためにREINFORCEスタンス・ワン・アウト(RLOO) 勾配推定器を適用することにより, これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-11-11T08:34:09Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。