論文の概要: CLion: Efficient Cautious Lion Optimizer with Enhanced Generalization

• arxiv url: http://arxiv.org/abs/2604.14587v1
• Date: Thu, 16 Apr 2026 03:32:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.710145
• Title: CLion: Efficient Cautious Lion Optimizer with Enhanced Generalization
• Title（参考訳）: CLion: 一般化を向上した効率的な注意深いライオン最適化
• Authors: Feihu Huang, Guanyi Zhang, Songcan Chen,
• Abstract要約: ここでは、Lion の一般化誤差が$O(frac1NT)$であることを示す。 また、我々の CLion が $O(fracsqrtdddell)$ の高速収束率を持つことを示す。
• 参考スコア（独自算出の注目度）: 43.39364515909059
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Lion optimizer is a popular learning-based optimization algorithm in machine learning, which shows impressive performance in training many deep learning models. Although convergence property of the Lion optimizer has been studied, its generalization analysis is still missing. To fill this gap, we study generalization property of the Lion via algorithmic stability based on the mathematical induction. Specifically, we prove that the Lion has a generalization error of $O(\frac{1}{Nτ^T})$, where $N$ is training sample size, and $τ>0$ denotes the smallest absolute value of non-zero element in gradient estimator, and $T$ is the total iteration number. In addition, we obtain an interesting byproduct that the SignSGD algorithm has the same generalization error as the Lion. To enhance generalization of the Lion, we design a novel efficient Cautious Lion (i.e., CLion) optimizer by cautiously using sign function. Moreover, we prove that our CLion has a lower generalization error of $O(\frac{1}{N})$ than $O(\frac{1}{Nτ^T})$ of the Lion, since the parameter $τ$ generally is very small. Meanwhile, we study convergence property of our CLion optimizer, and prove that our CLion has a fast convergence rate of $O(\frac{\sqrt{d}}{T^{1/4}})$ under $\ell_1$-norm of gradient for nonconvex stochastic optimization, where $d$ denotes the model dimension. Extensive numerical experiments demonstrate effectiveness of our CLion optimizer.
• Abstract（参考訳）: Lion Optimizationrは機械学習における一般的な学習ベースの最適化アルゴリズムであり、多くのディープラーニングモデルをトレーニングする際の素晴らしいパフォーマンスを示している。 ライオンオプティマイザの収束性は研究されているが、その一般化解析はいまだに欠落している。 このギャップを埋めるために,数学的帰納に基づくアルゴリズム的安定性によるライオンの一般化特性について検討する。 具体的には、ライオンの一般化誤差が$O(\frac{1}{Nτ^T})$であり、$N$はトレーニングサンプルサイズであり、$τ>0$は勾配推定器におけるゼロでない要素の最小絶対値であり、$T$は全反復数であることを示す。 さらに、SignSGDアルゴリズムがLionと同じ一般化誤差を持つ興味深い副産物を得る。 ライオンの一般化を促進するために,手話関数を慎重に用いて,効率の良いライオン(CLion)オプティマイザを設計する。 さらに、我々の CLion の一般化誤差が $O(\frac{1}{N})$ よりも低いことを証明している。 一方、我々のCLionオプティマイザの収束性を研究し、我々のCLionがモデル次元を表すような非凸確率最適化の勾配の$\ell_1$-norm以下の$O(\frac{\sqrt{d}}{T^{1/4}})$の高速収束速度を持つことを証明する。 大規模な数値実験により, CLionオプティマイザの有効性が示された。

関連論文リスト

• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts [8.393403749426097]
  Lion(Evolved Sign Momentum)は、大規模なAIモデルのトレーニングにおいて有望な結果を示している。 これはAdamWと同等か好意的に機能するが、メモリ効率は向上する。 我々の分析は,ライオン更新のための新しいリャプノフ関数の開発によって可能となった。
  論文  参考訳（メタデータ） (2023-10-09T17:41:29Z)
• Symbolic Discovery of Optimization Algorithms [132.62397077095787]
  我々は,効率的な探索手法を用いて,無限小のプログラム空間を探索する。 提案手法は, 単純かつ効率的な最適化アルゴリズムである $textbfLion$ を探索する。 LionはGoogle検索広告CTRモデルのようなプロダクションシステムにうまくデプロイされている。
  論文  参考訳（メタデータ） (2023-02-13T20:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。