論文の概要: Stiefel Attention: When the Geometry of Transformer Projection Matrices Dominates Optimizer Choice---and When It Does Not

• arxiv url: http://arxiv.org/abs/2609.19363v1
• Date: Wed, 16 Sep 2026 19:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.990284
• Title: Stiefel Attention: When the Geometry of Transformer Projection Matrices Dominates Optimizer Choice---and When It Does Not
• Title（参考訳）: Stiefel Attention: Transformer Projection Matrices の幾何学がオプティマイザ選択を支配するとき-そしてそれができないとき-
• Abstract要約: WQ,WK$をEuclidian Adamで最適化しています。 1回のランは、ベースラインの61.1%ドルに対して、エポック20,000で9,7.0%$の検証精度を持っている。 CIFAR-10のパッチでは、同じルールが12対のスタートで$mathbf+8.98$,ppを得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The query and key projections $\WQ,\WK$ in attention are almost always trained by Euclidean optimizers with no constraint on their geometry. We constrain them to the Stiefel manifold and optimize them there with a Riemannian Adam that carries one scalar second moment per frame, caps its step by a trust region, and retracts polarly. Four propositions prove this update is steepest descent in the embedded metric, independent of gradient scale, well conditioned, and exactly $\mathrm{O}(d)$-equivariant, each certified numerically in \texttt{float64}. A fifth supplies the mechanism: weight decay has \emph{identically zero} Riemannian gradient on $\St(d,r)$, since $W = W I_r$ lies in the normal space, so the learned attention geometry survives the collapse cycles that decay drives through the rest of the model. On modular arithmetic grokking, a single run holds $97.0\%$ validation accuracy at epoch 20\,000 against the baseline's $61.1\%$---an unstable endpoint we report as evidence for the mechanism rather than as an effect size. On CIFAR-10 patches the same rule gains $\mathbf{+8.98}$\,pp over 12 paired starts ($t{=}60.6$, $12/12$), and the gap widens with data rather than eroding. The step rule earns this: a fixed-step Riemannian update is degree one in the gradient, so it moves $24$--$40\times$ less per step than an identically shaped AdamW matrix---its frames barely leave their initialization, and freezing them outright costs only $0.28$\,pp. An ablation credits the whole gain to making the step scale free, and nothing measurable to the projector or to equivariance. A negative result sharpens the account: gauge removal cannot motivate the method, because a direction along which the loss is invariant carries no gradient at all.
• Abstract（参考訳）: クエリとキープロジェクションの$\WQ,\WK$は、ほとんど常にユークリッドのオプティマイザによって訓練される。 我々はそれらをスティーフェル多様体に縛り付け、リーマン・アダム(Riemannian Adam)でそれを最適化し、フレームごとに1つのスカラー第二モーメントを持ち、信頼領域によってそのステップを覆い、極性的に引き離す。 4つの命題は、この更新が埋め込み計量において最も急降下であり、勾配スケールとは独立であり、よく条件付きであり、正確に$\mathrm{O}(d)$-equivariantであり、それぞれが \texttt{float64} で数値的に証明されていることを証明している。 ウェイト崩壊は、$\St(d,r)$ 上のリーマン勾配を持ち、$W = W I_r$ は正規空間にあるので、学習された注意幾何学は、崩壊がモデルの他の部分を通る崩壊サイクルを生き残る。 モジュラー演算のグルーキングでは、1回の実行は、ベースラインの61.1.%$-に対して、エポック20,000で9,7.0.%$の検証精度を保持する。 CIFAR-10のパッチでは、同じルールが$\mathbf{+8.98}$\,pp over 12 paired start(t{=}60.6$, $112/12$)となり、ギャップは侵食ではなくデータによって拡大する。 固定ステップのリーマン更新は勾配の次数1なので、同じ形状のAdamWマトリックスよりもステップ当たり24ドル～40ドル(約2万2000円)安くなる。 アブレーションは、ステップスケールを自由にし、プロジェクターや等値に測定できるものは何もありません。 ゲージ除去は、損失が不変である方向が勾配を全く持たないため、メソッドを動機づけることができない。

関連論文リスト

• Hidden Boundary Motion in Transformer Optimization: Function-Space Orthogonalization of Affine Weight and Bias Updates [0.0]
  我々は、この隠れたコントリビューション・ファンウンダリ・モーションと呼び、各更新をエンハンシェープ・コンポーネントと共有エンハンダリ・コンポーネントに分解する。 単座実験では、SBO-AdamWはバリデーション精度を81.68%から85.81%に引き上げ、バリデーション選択テスト精度を78.73%から82.73%に引き上げた。
  論文  参考訳（メタデータ） (2026-07-24T21:51:43Z)
• Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam [0.16283634001181238]
  単一のArmijoバックトラックラインサーチが、この情報を数回のフォワードパスのコストですでに持っているのを観察する。 初期化時に一度使うと、この測定値が学習率の上限となり、Adamはあまりに大きな初期学習率に頑健になる。
  論文  参考訳（メタデータ） (2026-07-04T19:49:01Z)
• Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group [6.230579198456525]
  等変エンコーダ$E$と等変予測器$f$から構築された潜在世界モデルは、トレーニング損失の証明可能な対称性を継承する。 このエンドツーエンドをラップトップスケール(CPU/MPS、完全シード)で検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:20:24Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Ghosts of Softmax: Complex Singularities That Limit Safe Step Sizes in Cross-Entropy [0.0]
  クロスエントロピートレーニング分析は、提案されたステップが目標を減少させるかどうかを予測するために、損失の局所的なテイラーモデルに依存する。 提案した更新方向に沿って,ロジット線形化の下で閉形式式を導出する。 _a$の正規化は、標準偏差$0.992$から$0.164$へのオンセット閾値の広がりを縮小する。
  論文  参考訳（メタデータ） (2026-03-13T19:42:12Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
  線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。 線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。 線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
  論文  参考訳（メタデータ） (2021-01-29T18:57:52Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。