論文の概要: Low-Rank Friction for Memory-Efficient Transformer Pretraining

• arxiv url: http://arxiv.org/abs/2609.30342v2
• Date: Mon, 28 Sep 2026 11:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.811953
• Title: Low-Rank Friction for Memory-Efficient Transformer Pretraining
• Title（参考訳）: メモリ効率の良い変圧器プレトレーニングのための低域摩擦
• Abstract要約: iKFADの摩擦テンソル$$を、列と列の運動量統計から構築されたランク1の外積分解に置き換える。 これにより、摩擦メモリのフットプリントが$mathcalO(mn)$から$mathcalO(m+n)$に削減される。 GPT2-Nano、TinyViT、DistilBERT、GPT2-Sの実験では、R-iKFADがiKFADを超えるか一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: iKFAD is a recently proposed optimiser that replaces adaptive learning rates with adaptive friction in the momentum dynamics, yet performs as well as Adam. Its limitation is that the full friction tensor $ξ\in\mathbb{R}^{m\times n}$ carries the same $\mathcal{O}(mn)$ memory overhead per layer as Adam's second-moment buffer. Here we replace iKFAD's friction tensor $ξ$ with a rank-1 outer-product factorisation built from row and column momentum statistics, resulting in Rank-1 iKFAD (R-iKFAD). This reduces the friction memory footprint from $\mathcal{O}(mn)$ to $\mathcal{O}(m+n)$ per layer, which approximately halves iKFAD's total optimiser state. Despite this reduction, R-iKFAD maintains parity in performance with iKFAD: experiments on GPT2-Nano, TinyViT, DistilBERT and GPT2-S confirm that it matches or exceeds iKFAD while nearly halving the memory footprint and remaining comparably robust to hyperparameters. We analyse the continuous-time dynamics in two damping regimes. For linear damping ($γ>0$) we prove exponential convergence under strong convexity. For $γ=0$, the preferred option in our experiments, the friction is generated entirely from past momentum and switches off as the momentum vanishes, so geometric convergence cannot be shown. We nonetheless prove convergence to the minimiser, together with matching upper and lower bounds on the energy: of order $t^{-1}$ when the regularisation scale $ε_{\mathrm{stab}}$ is zero, and of order $t^{-1/2}$ when it is positive. To our knowledge this is the first convergence rate for a rank-1 factored optimiser in continuous time, and the first such result that does not require positive damping.
• Abstract（参考訳）: iKFADは、適応学習率を運動量力学の適応的摩擦に置き換える、最近提案されたオプティマイザである。 その制限は、フル摩擦テンソル $\in\mathbb{R}^{m\times n}$ がアダムの第2モーメントバッファと同じ $\mathcal{O}(mn)$ メモリオーバーヘッドを持つことである。 ここでは、iKFADの摩擦テンソルを、行と列の運動量統計から構築されたランク1外積分解に置き換え、結果としてランク1iKFAD(R-iKFAD)となる。 これにより、摩擦メモリのフットプリントが$\mathcal{O}(mn)$から$\mathcal{O}(m+n)$ per layerに削減される。 GPT2-Nano、TinyViT、DistilBERT、GPT2-Sの実験では、メモリフットプリントの半分近くを保ちながらiKFADと一致または超えることを確認した。 2つの減衰状態における連続時間ダイナミクスを解析する。 線形減衰(γ>0$)に対して、強い凸性の下で指数収束が証明される。 我々の実験で好まれるオプションである$γ=0$の場合、摩擦は過去の運動量から完全に生成され、モーメントが消えるにつれてスイッチオフするので、幾何収束は示せない。 それにもかかわらず、ミニミザーへの収束を証明し、エネルギー上の上界と下界を一致させる:次数 $t^{-1}$ 正規化スケール $ε_{\mathrm{stab}}$ が 0 で次数 $t^{-1/2}$ が正であるとき。 我々の知る限り、これはランク1因子オプティマイザの連続時間における最初の収束率であり、正の減衰を必要としない最初の結果である。

関連論文リスト

• Entropy-Smooth Convex Optimization Cannot Be Accelerated [0.0]
  負のエントロピーに対する凸函数のクラスにおける最小化の収束率に対して、$(L/T)$低い境界を証明します。 このことは、ミラー降下がこのクラスの対数係数に最適であることを示している。
  論文  参考訳（メタデータ） (2026-07-29T21:34:12Z)
• When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
  良性オーバーフィッティングが線形レートで失敗することを示します。 この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
  論文  参考訳（メタデータ） (2026-05-07T14:14:09Z)
• Clipped Gradient Methods for Nonsmooth Convex Optimization under Heavy-Tailed Noise: A Refined Analysis [3.8357180714081327]
  単純だが効果的な操作である勾配クリッピングは、この新しい課題をうまく処理することが知られている。 我々の研究は2つの面で既存のアプローチを改善している: 重尾雑音下でのクリップ誤りに対するフリードマンの不等式とより微細な境界のより良い利用である。 この研究を補完するために、我々は高確率と非観測収束の両方のための新しい下界を確立する。
  論文  参考訳（メタデータ） (2025-12-29T03:35:53Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• (Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum [7.095058159492494]
  ヘビーボール運動量(SHB)は機械学習モデルのトレーニングに一般的に用いられ、勾配よりも経験的な結果を提供することが多い。 SHBは, 条件値 $kappa2$ の閾値 $b*$ よりも小さい場合に, 高速化されたミニバッチサイズが得られることを示す。
  論文  参考訳（メタデータ） (2024-01-12T18:17:28Z)
• Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
  無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。 最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-01-31T16:17:56Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。