論文の概要: Pro-KLShampoo: Projected KL-Shampoo with Whitening Recovered by Orthogonalization

• arxiv url: http://arxiv.org/abs/2605.06316v1
• Date: Thu, 07 May 2026 14:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.88447
• Title: Pro-KLShampoo: Projected KL-Shampoo with Whitening Recovered by Orthogonalization
• Title（参考訳）: プロKLSハムプー:直交化により白化したKLシャンプー計画
• Authors: Ruotong Sun, Ermin Wei,
• Abstract要約: 我々はKL-ShampooのKroneckerプレコンディショナーに関する構造観察を行う。 固有値スペクトルは、エンフスパイクと平坦な形状を示す。 我々は、KL-シャンプーのクロネッカー因子の1つをパラメトリック族に制限することで、この構造を利用する。
• 参考スコア（独自算出の注目度）: 7.025709586759654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizers that exploit the matrix structure of gradients are central to modern LLM pre-training, with two distinct frontiers: explicit Kronecker-factored preconditioning -- most recently KL-Shampoo, which estimates the preconditioner via KL divergence minimization -- and orthogonalization of the gradient momentum, exemplified by Muon and analyzed as steepest descent under the spectral norm. The two routes are typically developed in isolation. We make a structural observation about KL-Shampoo's Kronecker preconditioners: their eigenvalue spectra exhibit a \emph{spike-and-flat} shape -- a few dominant eigenvalues followed by an approximately uniform tail -- across layers and training stages, holding exactly under a rank-$ρ$ signal-plus-noise gradient model. We exploit this structure by restricting one of KL-Shampoo's Kronecker factors to a parametric family aligned with the spike-and-flat shape: full spectral structure on a tracked $r$-dimensional subspace, single shared eigenvalue across the remaining $n-r$ directions. On these directions, we apply orthogonalization. An identity shows that this orthogonalization recovers the algebraic form of full KL-Shampoo's preconditioner. On four pre-training scales (GPT-2 124M / 350M, LLaMA 134M / 450M), Pro-KLShampoo consistently outperforms KL-Shampoo at every subspace rank we test in validation loss, peak per-GPU memory, and wallclock time to reach each loss level.
• Abstract（参考訳）: 勾配の行列構造を利用する最適化器は、現代のLLM事前訓練の中心であり、2つの異なるフロンティアがある: 明示的なクロネッカー型プレコンディショニング - 最近ではKLの発散最小化によってプレコンディショナーを推定するKL-シャンプー - と、ムオンによって例示され、スペクトルノルムの下で最も急勾配降下として分析された勾配運動量の直交化である。 2つの路線は通常独立して開発されている。 我々はKL-ShampooのKroneckerプレコンディショナーについて構造的な観察を行い、その固有値スペクトルは、階数$ρ$の信号+雑音勾配モデルの下で、いくつかの支配的固有値とほぼ均一な尾を持つ、擬似的固有値を示す。 我々は、KL-ShampooのKronecker因子の1つをスパイク・アンド・フラット形状のパラメトリック族に制限することでこの構造を利用する: トラックされた$r$-次元部分空間上の完全なスペクトル構造、残りの$n-r$方向の共有固有値。 これらの方向に直交化を適用する。 この直交化はフルKL-シャンプーのプレコンディショナーの代数形式を復元することを示す。 4つの事前トレーニングスケール(GPT-2 124M / 350M, LLaMA 134M / 450M)において、Pro-KLShampooは、検証損失、GPU毎のピークメモリ、およびウォールクロック時間において、各損失レベルに到達するためにテストするサブスペースランク毎のKL-Shampooを一貫して上回ります。

関連論文リスト

• The Spectral Lifecycle of Transformer Training: Transient Compression Waves, Persistent Spectral Gradients, and the Q/K--V Asymmetry [4.28787537081191]
  本稿では,重み行列特異値スペクトルの事前学習に関する最初の体系的研究について述べる。 textbf(1) 過渡圧縮波: 安定な階数圧縮は、初期から後期の進行波として伝播する。 textbf(2) Persistent Spectral Gradients: the power-law exponent$$s developing a permanent depth gradient formed a non-monotonic inverted-U in deep model。
  論文  参考訳（メタデータ） (2026-04-03T08:58:53Z)
• Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence [50.719298242863744]
  Underdamped Langevin dynamics (ULD) は Gibbs 分布の$propto e-V$ に広く使われているサンプルである。 離散化LDDにおける最初の次元自由なKL分散境界を証明した。
  論文  参考訳（メタデータ） (2026-03-02T22:14:38Z)
• Near-Optimal Regret for KL-Regularized Multi-Armed Bandits [54.77408659142336]
  KL正規化目標に対するオンライン学習の統計的効率について検討する。 我々は、MABsのKL正規化後悔が$$非依存であることを示し、$tilde(sqrtKT)$とスケールする。
  論文  参考訳（メタデータ） (2026-03-02T18:17:33Z)
• Uniform Spectral Growth and Convergence of Muon in LoRA-Style Matrix Factorization [24.166134750040484]
  低ランク適応 (LoRA) 条件下では, ムオンの下で特異なスペクトル現象がみられた。 簡易なLORA式行列分解設定において、スペクトル勾配流(SpecGF)をSpecGD-の連続的なアナログとして解析する。
  論文  参考訳（メタデータ） (2026-02-06T04:47:06Z)
• Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences [0.0]
  Kullback-Leibler divergence (KL) 正規化は強化学習において広く用いられているが、サポートミスマッチの下で無限となり、低雑音域で縮退する。 我々は、KLの動的定式化におけるフィッシャー・ラオ幾何を輸送的特異点に置き換えることで、(カルマン)-ワッサーシュタイン-KL類似体を導入する。 KL正規化最適制御におけるこれらの分散性の有用性を実証する。
  論文  参考訳（メタデータ） (2026-02-02T15:57:32Z)
• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint Support [27.165565512841656]
  移動音源と固定目標分布との間のクルバック・リーブラー分岐に対する緩和近似の勾配流について検討した。 この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。
  論文  参考訳（メタデータ） (2021-06-16T16:37:43Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。