論文の概要: Stiefel-AdamW: Geometry-Aware AdamW for Linear Factorization Blocks

• arxiv url: http://arxiv.org/abs/2609.21039v1
• Date: Thu, 17 Sep 2026 19:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.765062
• Title: Stiefel-AdamW: Geometry-Aware AdamW for Linear Factorization Blocks
• Title（参考訳）: Stiefel-AdamW: 線形分解ブロックのための幾何学的AdamW
• Abstract要約: 現代のディープラーニングにおける広範構造パターンは線形分解ブロックである。 我々はSiefel-AdamWを紹介した。
• 参考スコア（独自算出の注目度）: 9.40298512371758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A pervasive structural pattern in modern deep learning is the linear factorization block: a submodule of the form $W = BA$ in which two parameter matrices are multiplied directly, with no intervening nonlinearity. Such blocks appear in LoRA adapters, low-rank compressed layers, query-key products of self-attention, and share a common pathology: the factorization is non-unique, which can destabilize training and limit usable learning rates. Despite this, factorization blocks are typically optimized with standard Euclidean methods that ignore the underlying geometry. We introduce Stiefel-AdamW, a near drop-in replacement for AdamW for use wherever such blocks appear. By constraining one factor on the Stiefel manifold while leaving the other Euclidean, Stiefel-AdamW relaxes the full $\mathrm{GL}(\mathbb{R}^r)$ gauge symmetry to a compact orthogonal symmetry, ruling out factor blow-up while retaining the coordinate-wise diagonal preconditioning that gives AdamW its practical strength. Moment estimation is performed in the ambient Euclidean space, with geometry entering only through a tangent-space projection and a manifold retraction. The implementation overhead over AdamW is minimal, and we show that the resulting optimizer inherits both the stability benefits of Riemannian methods and standard convergence guarantees. We validate Stiefel-AdamW on LoRA-style fine-tuning of GPT2, ViT, and Mistral 7B and on full pretraining of GPT2 on OpenWebText, showing consistent improvements over strong baselines at essentially no additional cost over AdamW.
• Abstract（参考訳）: 現代のディープラーニングにおける広範構造パターンは線形分解ブロック(英語版)である:$W = BA$ という形の部分加群で、2つのパラメータ行列が直接乗算され、介入する非線形性を持たない。 このようなブロックはLoRAアダプタ、低ランク圧縮層、自己アテンションのクエリキー製品に現れ、共通の病理を共有している。 これにもかかわらず、分解ブロックは通常、基底となる幾何学を無視した標準ユークリッド法で最適化される。 我々はSiefel-AdamWを紹介した。 スティーフェル多様体上の1つの因子を他のユークリッドを残しながら制限することにより、スティーフェル・アダムワーはフル$\mathrm{GL}(\mathbb{R}^r)$ゲージ対称性をコンパクト直交対称性に緩和し、座標方向の対角プレコンディショニングを保ちながら因子の爆破を除外する。 モーメント推定は周囲ユークリッド空間で行われ、幾何学は接空間の射影と多様体の引き抜きを通してのみ入る。 AdamW 上の実装オーバーヘッドは最小限であり、結果の最適化器はリーマン的手法の安定性と標準収束保証の両方を継承することを示す。 我々は,LoRAスタイルのGPT2,ViT,Mistral 7Bの微調整とOpenWebText上でのGPT2の事前トレーニングについて,Stiefel-AdamWを検証する。

関連論文リスト

• The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks [0.0]
  重み行列の局所学習係数(LLC)を正確に$m/2$とすることで、LayerNormの平均中心ステップを線形超平面に収束させることを証明した。 さらに、Softmaxの単純なデータに"smuggled bias"を導入し、明示的な下流バイアスと組み合わせると、同じ$m/2$ LLCのドロップを起動することを示す。
  論文  参考訳（メタデータ） (2026-03-28T22:15:45Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs [56.246783503873225]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 本稿では,ウィンドウ/リスタートベースアルゴリズムと同様に,より単純な重みに基づくアルゴリズムを提案する。 我々のフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2026-01-03T04:50:21Z)
• StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold [51.93627542334909]
  低ランク適応(LoRA)は大規模事前訓練モデルのパラメータ効率向上手法として広く採用されている。 3要素分解$U!SVtop$を使用するLoRAの幾何学的拡張を提案する。
  論文  参考訳（メタデータ） (2025-10-02T11:59:13Z)
• Agnostic Smoothed Online Learning without Knowledge of the Base Measure [5.167069404528051]
  本稿では,$mu$の事前知識を必要とせずに,オンライン学習を円滑に行うためのサブ線形後悔を保証するアルゴリズムを提案する。 R-Coverは、次元$d$を持つ関数クラスに対して、適応的後悔$tilde O(sqrtdT/sigma)$を持つ。
  論文  参考訳（メタデータ） (2024-10-07T15:25:21Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Non-asymptotic Convergence of Adam-type Reinforcement Learning Algorithms under Markovian Sampling [56.394284787780364]
  本稿では、ポリシー勾配(PG)と時間差(TD)学習の2つの基本RLアルゴリズムに対して、最初の理論的収束解析を行う。 一般の非線形関数近似の下では、PG-AMSGradは定常点の近傍に収束し、$mathcalO(log T/sqrtT)$である。 線形関数近似の下では、一定段階のTD-AMSGradは$mathcalO(log T/sqrtT)の速度で大域的最適化の近傍に収束する。
  論文  参考訳（メタデータ） (2020-02-15T00:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。