論文の概要: No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

• arxiv url: http://arxiv.org/abs/2607.05872v1
• Date: Tue, 07 Jul 2026 06:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.408756
• Title: No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training
• Title（参考訳）: No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training
• Abstract要約: GaLoreのようなメモリ効率は、ランク-r部分空間に勾配を投影することで、大きな言語モデルを訓練する。 私たちは、小さな再現可能なコアを超えて、そのようなオブジェクトは存在しないことを示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-efficient optimizers such as GaLore train large language models by projecting gradients onto a rank-r subspace recomputed every T steps, assuming this subspace is a slowly drifting object that can be tracked. We show that beyond a small reproducible core, there is no such object. Two estimates of the top-r subspace computed at the same step from disjoint minibatches disagree as much as estimates computed T steps apart (0.73 vs 0.74 of the maximal chordal distance sqrt(2r), at Pythia-160M with r=128): the apparent rotation at each refresh is dominated by estimator noise. This holds across four model families in three architecture classes from 70M to 6.9B parameters, strengthening with scale, and more weakly in a vision transformer. Only ~39 of 128 directions are reproducible across minibatches, and averaging cannot recover the rest: under N-fold averaging the gradient's spectral tail shrinks as N^(-1/4) rather than the N^(-1/2) of pure noise, so no averaging budget makes the subspace well defined. What helps instead follows from treating each refresh as a change of coordinates for Adam's state. Carrying the second moment blindly is provably about (r-k*)/2 worse than the best rotation-blind estimator, while the first moment transports exactly through the rotation, the optimal linear map under isotropic gradients and the rule LDAdam uses. At 1B over 40k steps (3 seeds), full LDAdam reaches 18.7 perplexity at beta2=0.999, beating untransported GaLore after its best beta2 fix (19.3); shortening the second-moment memory to beta2=0.99 helps the refreshing optimizers, though for canonical GaLore the effect is small and a full-rank control reverses it. One measurable fact, subspace non-identifiability, clarifies why GaLore works, which patches work, and what to check before trusting a low-rank assumption: the reproducible rank k*.
• Abstract（参考訳）: GaLoreのようなメモリ効率の良いオプティマイザは、Tステップ毎に再計算されたランク-rサブスペースに勾配を投影することで、大きな言語モデルを訓練する。 私たちは、小さな再現可能なコアを超えて、そのようなオブジェクトは存在しないことを示します。 解離したミニバッチから計算されたトップr部分空間の2つの推定は、計算されたTステップの差(最大弦距離sqrt(2r)の0.73対0.74、r=128のPythia-160M)と一致しない。 これは70Mから6.9Bパラメータの3つのアーキテクチャクラスの4つのモデルファミリにまたがって保持され、スケールで強化され、視覚変換器ではより弱い。 128の方向のうち39はミニバッチで再現可能であり、平均化は残りを回復できない: 勾配のスペクトルテールをN^(-1/2)ではなくN^(-1/4)として縮めることにより、平均化予算は部分空間を適切に定義することができない。 代わりに、各リフレッシュをAdamの状態の座標の変更として扱うのに役立ちます。 第2のモーメントを盲目的に運んだ場合、(r-k*)/2 は最高の回転翼推定器よりも確実に悪いが、第1のモーメントは回転を通して正確に移動し、等方勾配の下での最適線型写像と LDAdam が使用する規則である。 40k以上のステップ (3 種) で、完全な LDAdam は beta2=0.999 で 18.7 パープレキシティに達し、最高の Beta2 修正 (19.3) の後、移植されていない GaLore を圧倒し、第2モーメントメモリを beta2=0.99 に短縮することで、リフレッシュオプティマイザに役立つが、正規の GaLore では効果が小さく、フルランク制御が逆転する。 1つの測定可能な事実、部分空間の非同一性(英語版)は、GaLoreがなぜ機能するのか、どのパッチが機能するのか、低ランクの仮定を信頼する前に何をチェックするべきか、すなわち再現可能なランク k* を明らかにする。

関連論文リスト

• EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale [9.562123195246393]
  EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。 有限人口推定器の誤差を解析する。 退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
  論文  参考訳（メタデータ） (2026-09-10T01:58:02Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• Level-Crossing Density as a Mesh-Free High-Frequency Auxiliary Loss for Implicit Neural Representations [0.0]
  格子も複雑も永続性もない連続神経場に対するスムーズなモンテカルロ推定器を導出する。 推定器は2Dと3Dの正確なトポロジーに対して1-3%の精度で、1イテレーションあたり約3ミリ秒の費用がかかる。 しかし、3Dニューラル-SDFフィッティングでは、任意のサンプルソフトトポロジーの目的に対して一般的な障害モードが現れると信じている。
  論文  参考訳（メタデータ） (2026-07-07T04:23:23Z)
• Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks [0.0]
  ディープネットワークの損失はそのパラメータの連続対称性に不変である。 我々は、$G$-不変距離の軌道分解を条件付けるデッド・ディビジョン・コンディショナーであるDDCを構築する。 適合点を越えて訓練された言語モデルでは、DDCAdamはAdamWの過度のトレーニング崩壊に抵抗し、5.88に対して0.67のトレーニング損失ギャップを保持し、65層中32層でデッドダイレクト率を読み取る。
  論文  参考訳（メタデータ） (2026-06-28T03:44:59Z)
• First-Passage Prediction of Grokking Delay: ACalibrated Law under AdamW with Causal Validation [0.0]
  閉形式法 T_grok - T_mem = (1 / 2 kappa_LL eta) log(V_mem / V_star) ここで、V_t =theta_t||2 は標準二乗パラメータ、V_star はアーキテクチャ依存しきい値、kappa_LL はクリーンSGD 収縮率 2 eta に対するAdamW 補正を吸収する。 単一ハイパーランゲージセル上でのキャリブレーション(kappa_LL, V_star)は,MAPE 17.7%を41で達成し,26回のホールドアウト動作におけるグルーキング遅延を予測する
  論文  参考訳（メタデータ） (2026-05-13T06:33:56Z)
• The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
  実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。 Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。 12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
  論文  参考訳（メタデータ） (2026-04-15T08:56:58Z)
• Improved high-dimensional estimation with Langevin dynamics and stochastic weight averaging [54.172416732517156]
  ランゲヴィン力学は、前よりも平均的な反復を考えると、$n gtrsim d kstar/2 $サンプルで成功する。 前者よりも平均的な反復を考えると、ランゲヴィン力学が$n gtrsim d kstar/2 $サンプルで成功することを示す。
  論文  参考訳（メタデータ） (2026-03-06T08:23:24Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation [68.25872110275542]
  非自己回帰型機械翻訳のための効率的な推論手法を提案する。 反復的に連続空間で純粋に翻訳を洗練させる。 We evaluate our approach on WMT'14 En-De, WMT'16 Ro-En and IWSLT'16 De-En。
  論文  参考訳（メタデータ） (2020-09-15T15:30:14Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。