論文の概要: Second-Moment Memory in Coordinatewise Adam

• arxiv url: http://arxiv.org/abs/2608.15824v1
• Date: Sun, 16 Aug 2026 15:56:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.435442
• Title: Second-Moment Memory in Coordinatewise Adam
• Title（参考訳）: コーディネート・アダムにおける第2モーメント記憶
• Abstract要約: 第二モーメントメモリ自体が最適勾配への進行を抑えることができることを示す。 勾配ノイズが有限分散であっても、長い第2モーメントメモリは最適化を遅くすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adam retains a moving average of past squared gradients in its denominator, but the optimization cost of this memory is not well understood. We show that second-moment memory can itself suppress progress toward the optimum even under finite-variance stochastic gradients. For a simple two-point oracle, the expected positive normalized update is $O(M_2^{-1/2})$ after an initialization transient, where $M_2=(1-β_2)^{-1}$ is the second-moment memory length. We convert this directional bound, under the stated memory and stepsize scaling, into an average-stationarity lower bound of the same order on a smooth convex problem with normalized gap, smoothness, and variance. Long second-moment memory can slow optimization even when the gradient noise has finite variance.
• Abstract（参考訳）: アダムはその分母における過去の2乗勾配の移動平均を保っているが、このメモリの最適化コストはよく理解されていない。 有限分散確率勾配下においても、第2モーメントメモリ自体が最適方向の進行を抑えることができることを示す。 単純な2点オラクルの場合、期待される正の正規化更新は初期化トランジェント後の$O(M_2^{-1/2})$であり、$M_2=(1-β_2)^{-1}$は第2モーメントメモリ長である。 我々は、この方向境界を、メモリと階調スケーリングに基づいて、正規化されたギャップ、滑らかさ、分散を伴う滑らかな凸問題において、同じ順序の平均定常下界に変換する。 勾配ノイズが有限分散であっても、長い第2モーメントメモリは最適化を遅くすることができる。

関連論文リスト

• Optimizer Memory Makes Shuffle Order a First-Order Source of Fine-Tuning Noise [0.0]
  シャッフルオーダーは、メモリレス解析が予測するよりも微調整ノイズの源となる可能性がある。 我々は、このメカニズムを分離し、生成するノイズのサイズを不適合にする方法を導出する。
  論文  参考訳（メタデータ） (2026-06-28T18:44:08Z)
• OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
  閉ループスカラー運動量を示す。 最適化はムオン型運動量と組み合わせることができる。 雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。 これらの結果は,OptMuon-Aがノイズレートを達成することを示す。 (T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。 (T-1/2+)
  論文  参考訳（メタデータ） (2026-06-07T18:59:24Z)
• PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent [29.903629736539013]
  AdaptiveはTransformerなどの大規模ニューラルネットワークをトレーニングするための標準標準になっています。 本稿では,第2モーメント統計を使わずにモーメントワイド適応性を実現するメモリ効率のPowerStepを紹介する。 Transformerモデルの実験では、PowerStepはメモリを半減しながらAdams収束速度と一致している。
  論文  参考訳（メタデータ） (2026-05-11T10:36:27Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Sketchy: Memory-efficient Adaptive Regularization with Frequent Directions [22.09320263962004]
  ディープラーニング(DL)学習タスクにおけるKronecker-factored gradient covariance matrixのスペクトルは、小さなリード固有空間に集中している。 本稿では,行列プレコンディショナを維持するためのメモリと計算要求を低減させる汎用的手法について述べる。 ShampooやAdamと競合する手法で、第2の瞬間を追跡するにはサブ線形メモリしか必要ありません。
  論文  参考訳（メタデータ） (2023-02-07T21:50:06Z)
• Accelerated Single-Call Methods for Constrained Min-Max Optimization [5.266784779001398]
  既存の方法は、各イテレーションで2つのグラデーションコールか2つのプロジェクションを必要とする。 本稿では,RGOG(Optimistic Gradient)の変種が,非可換な min-max 収束率問題に富むことを示した。 私たちの収束率は、自然や自然のような標準の尺度に当てはまる。
  論文  参考訳（メタデータ） (2022-10-06T17:50:42Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。