論文の概要: Convergence Analysis of the Lion Optimizer in Centralized and Distributed Settings

• arxiv url: http://arxiv.org/abs/2508.12327v1
• Date: Sun, 17 Aug 2025 10:54:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.687216
• Title: Convergence Analysis of the Lion Optimizer in Centralized and Distributed Settings
• Title（参考訳）: 集中・分散環境におけるライオン最適化器の収束解析
• Authors: Wei Jiang, Lijun Zhang,
• Abstract要約: 分散還元を伴うライオンを導入し,$mathcalO(d1/2T-1/4)$の収束率を向上した。 次に分散環境で解析し、分散ライオンの標準および分散化バージョンが$mathcalO(d1/2(nT)-1/4)$の収束率を得る。
• 参考スコア（独自算出の注目度）: 16.68443164140878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we analyze the convergence properties of the Lion optimizer. First, we establish that the Lion optimizer attains a convergence rate of $\mathcal{O}(d^{1/2}T^{-1/4})$ under standard assumptions, where $d$ denotes the problem dimension and $T$ is the iteration number. To further improve this rate, we introduce the Lion optimizer with variance reduction, resulting in an enhanced convergence rate of $\mathcal{O}(d^{1/2}T^{-1/3})$. We then analyze in distributed settings, where the standard and variance reduced version of the distributed Lion can obtain the convergence rates of $\mathcal{O}(d^{1/2}(nT)^{-1/4})$ and $\mathcal{O}(d^{1/2}(nT)^{-1/3})$, with $n$ denoting the number of nodes. Furthermore, we investigate a communication-efficient variant of the distributed Lion that ensures sign compression in both communication directions. By employing the unbiased sign operations, the proposed Lion variant and its variance reduction counterpart, achieve convergence rates of $\mathcal{O}\left( \max \left\{\frac{d^{1/4}}{T^{1/4}}, \frac{d^{1/10}}{n^{1/5}T^{1/5}} \right\} \right)$ and $\mathcal{O}\left( \frac{d^{1/4}}{T^{1/4}} \right)$, respectively.
• Abstract（参考訳）: 本稿では,ライオンオプティマイザの収束特性を解析する。 まず、ライオンオプティマイザが標準仮定の下で$\mathcal{O}(d^{1/2}T^{-1/4})$の収束率に達することを証明し、$d$は問題次元を表し、$T$は反復数である。 この速度をさらに改善するため、分散低減を伴うライオンオプティマイザを導入し、結果として$\mathcal{O}(d^{1/2}T^{-1/3})$の収束率を向上する。 次に分散環境で解析し、分散ライオンの標準および分散化バージョンが$\mathcal{O}(d^{1/2)(nT)^{-1/4})$と$\mathcal{O}(d^{1/2}(nT)^{-1/3})$の収束率を得る。 さらに,両通信方向の符号圧縮を保証する分散Lionの通信効率特性について検討する。 非バイアスの符号演算を用いることで、提案されたライオン変種とその分散還元式は、それぞれ$\mathcal{O}\left( \max \left\{\frac{d^{1/4}}{T^{1/4}}, \frac{d^{1/10}}{n^{1/5}} \right \right)$と$\mathcal{O}\left( \frac{d^{1/4}}{T^{1/4}} \right)$の収束率を得る。

関連論文リスト

• Improved Analysis for Sign-based Methods with Momentum Updates [15.679979249491087]
  モーメントを更新した符号ベース最適化アルゴリズムの高機能化について述べる。 提案手法は,$mathcalOleft(d1/2T-1/2 + dn-1/2 right)$と$mathcalleft(max d1/4T-1/4 + dn-1/2 right)$の収束率を求める。
  論文  参考訳（メタデータ） (2025-07-16T09:54:08Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction [16.82220229840038]
  それぞれ$mathcalO(d1/2T-1/2 + dn-1/2)$と$mathcalO(d1/4T-1/4)$の収束率を改善する2つの新しいアルゴリズムを導入する。 提案手法の有効性を検証した数値実験を行った。
  論文  参考訳（メタデータ） (2024-06-01T16:38:43Z)
• Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
  カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する 核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
  論文  参考訳（メタデータ） (2024-02-23T20:51:31Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。