論文の概要: PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
- arxiv url: http://arxiv.org/abs/2605.10335v1
- Date: Mon, 11 May 2026 10:36:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.736745
- Title: PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
- Title（参考訳）: PowerStep:$\ell_p$-Normによるメモリ効率の良い適応最適化
- Abstract要約: AdaptiveはTransformerなどの大規模ニューラルネットワークをトレーニングするための標準標準になっています。
本稿では,第2モーメント統計を使わずにモーメントワイド適応性を実現するメモリ効率のPowerStepを紹介する。
Transformerモデルの実験では、PowerStepはメモリを半減しながらAdams収束速度と一致している。
- 参考スコア（独自算出の注目度）: 29.903629736539013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adaptive optimizers, most notably Adam, have become the default standard for training large-scale neural networks such as Transformers. These methods maintain running estimates of gradient first and second moments, incurring substantial memory overhead. We introduce PowerStep, a memory-efficient optimizer that achieves coordinate-wise adaptivity without storing second-moment statistics. Motivated by steepest descent under an $\ell_p$-norm geometry, we show that applying a nonlinear transform directly to a momentum buffer yields coordinate-wise adaptivity. We prove that PowerStep converges at the optimal $O(1/\sqrt{T})$ rate for non-convex stochastic optimization. Extensive experiments on Transformer models ranging from 124M to 235B parameters demonstrate that PowerStep matches Adam's convergence speed while halving optimizer memory. Furthermore, when combined with aggressive \texttt{int8} quantization, PowerStep remains numerically stable and reduces optimizer memory by $\sim\!8\times$ compared to full-precision Adam. PowerStep thus provides a principled, scalable and resource-efficient alternative for large-scale training. Code is available at https://github.com/yaolubrain/PowerStep.
- Abstract（参考訳）: 適応オプティマイザ、特にAdamは、Transformerなどの大規模ニューラルネットワークをトレーニングするためのデフォルト標準になっています。
これらの手法は、第1モーメントと第2モーメントの計算を継続し、かなりのメモリオーバーヘッドを発生させる。
本稿では,2次モーメント統計を格納せずに座標適応性を実現するメモリ効率の最適化器PowerStepを紹介する。
$\ell_p$-norm 幾何の下で最も急降下したことから、運動量バッファに直接非線形変換を適用すると、座標ワイド適応性が得られることを示す。
我々は、PowerStepが非凸確率最適化の最適$O(1/\sqrt{T})$レートで収束することを証明した。
124Mから235BパラメータのTransformerモデルに対する大規模な実験は、PowerStepが最適化メモリを半減しながらAdamの収束速度と一致することを示した。
さらに、アグレッシブな \texttt{int8} 量子化と組み合わせると、PowerStep は数値的に安定し続け、最適化メモリを$\sim\!
8\times$がAdamに匹敵する。
これによりPowerStepは、大規模トレーニングのための原則付き、スケーラブルで、リソース効率のよい代替手段を提供する。
コードはhttps://github.com/yaolubrain/PowerStep.comで入手できる。
関連論文リスト
- Second-Moment Memory in Coordinatewise Adam [0.0]
第二モーメントメモリ自体が最適勾配への進行を抑えることができることを示す。
勾配ノイズが有限分散であっても、長い第2モーメントメモリは最適化を遅くすることができる。
論文 参考訳（メタデータ） (2026-08-16T15:56:36Z) - Gefen: Optimized Stochastic Optimizer [32.771995350910125]
AdamWは現代のディープラーニングのデフォルトですが、第1と第2の瞬間状態は、メモリのトレーニングにおよそ2つのパラメータサイズのバッファを追加します。
本稿では,パラメータブロック間で第2モーメント推定値を共有するメモリ効率のよいコードブックであるGefenを提案し,学習したコードブックを用いて第1モーメントを定量化する。
我々は、GefenがAdamWのメモリフットプリントを8倍に削減し、同じ性能を維持していることを示す。
論文 参考訳（メタデータ） (2026-06-11T20:38:09Z) - Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。
単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。
また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
論文 参考訳（メタデータ） (2026-03-30T17:51:47Z) - Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence [5.683382109687174]
メモリ効率の最適化手法は近年,GPUメモリボトルネック下での大規模言語モデルのフルチューニングに注目が集まっている。
我々は,Omni-O-Masked Descent (OMGD) をメモリ効率トレーニングのアプローチとして提案する。
論文 参考訳（メタデータ） (2026-03-06T06:47:52Z) - Progressive Power Homotopy for Non-convex Optimization [5.737648067191245]
我々は$max_bmwinmathbbdmathbbdmathbbdmathR bmxsimmathcalDという形の非最適化のための新しい一階法を提案する。
我々は,Prog-PowerHPが大域的最適化の小さな近傍に収束し,およそ$O(d2varepsilon-2)$であることを示した。
論文 参考訳（メタデータ） (2026-01-22T12:44:25Z) - Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales [55.91454326946738]
学習速度と減量率の最適化は,幅広い言語に対して,モデルの幅と深さでどのようにスケールするかを検討する。
我々は、$Pによる学習率のスケーリングは転送を改善するが、それでもかなりの有限幅偏差に悩まされる可能性があることを見出した。
計算-最適スケーリングでは、独立したウェイト崩壊が1/mathrmwidth$で言語間でほぼ最適であることが分かる。
論文 参考訳（メタデータ） (2025-12-05T11:03:41Z) - FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。
当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
論文 参考訳（メタデータ） (2025-05-23T14:37:00Z) - VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence [6.574641780732972]
大規模非問題はディープラーニングでは一般的である。
ファーストオーダー(FO)は今日のベースラインとして機能する。
ZOアルゴリズムは計算量とメモリコストを減らす。
VAMOは、より少ない動的メモリ要求でこれらのゲインを達成する。
論文 参考訳（メタデータ） (2025-05-20T05:31:15Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳（メタデータ） (2021-10-06T15:43:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。