論文の概要: Same Function, Different Trajectory: No Standard Optimizer Is Equivariant to Transformer Reparameterization

• arxiv url: http://arxiv.org/abs/2610.18085v1
• Date: Tue, 13 Oct 2026 10:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:28:06.741547
• Title: Same Function, Different Trajectory: No Standard Optimizer Is Equivariant to Transformer Reparameterization
• Title（参考訳）: 同一機能, 異なる軌道: 標準最適化器は変圧器のパラメータ化に等しくない
• Abstract要約: 同じ関数を表す2つのトランスフォーマーが、異なるトレーニングトラジェクトリに従うことができることを示す。 我々は,正対称対のフロベニウスノルムを周期的に等しくする,SAGGS(Symmetry-Aware Gradient Geometry Stabilization)を提案する。 123.8Mチェックポイント再試行実験では、行列ペアの相互再スケーリングは、再起動時に検証損失をほとんど変更しないが、最終的なPLPを3.78pm0.42$で増加させる。
• 参考スコア（独自算出の注目度）: 4.230349220081444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that two Transformers representing the same function can follow different training trajectories. For example, doubling a query matrix and halving its key matrix preserves the model's function but changes the gradient scales seen by the optimizer. Our theoretical analysis establishes that standard block-local first-order optimizers fail to scale updates with parameters under a shared learning rate. For AdamW, transforming the first- and second-moment estimates alone does not correct the mismatch between parameter and update scales. To make runs restarted from equivalent checkpoints follow the same trajectory, we balance matrix pairs and transform their moment estimates together, bringing distinct but equivalent training states to the same starting point. To correct scale imbalance between paired Transformer matrices without changing predictions, we propose Symmetry-Aware Gradient Geometry Stabilization (SAGGS), which periodically equalizes the Frobenius norms of exact symmetry pairs, and its damped variant, Soft SAGGS. SAGGS reduces perplexity (PPL) by $0.374\pm0.026$ at 101M parameters on WikiText-103, and Soft SAGGS reduces PPL by $0.780\pm0.040$ in a 31M modern-architecture replication, both under scale imbalance. In a 123.8M checkpoint-resume experiment, reciprocally rescaling matrix pairs barely changes validation loss at restart but increases final PPL by $3.78\pm0.42$; hard and soft rebalancing recover to within $0.02$ PPL of the control.
• Abstract（参考訳）: 同じ関数を表す2つのトランスフォーマーが、異なるトレーニングトラジェクトリに従うことができることを示す。 例えば、クエリ行列を2倍にし、キー行列を半分にすると、モデルの関数は保存されるが、オプティマイザが見る勾配スケールは変更される。 我々の理論的分析は、標準ブロックローカルな1次最適化器が、共有学習率でパラメータで更新をスケールできないことを証明している。 AdamW氏にとって、第1と第2のモーメントの見積を変換するだけでは、パラメータと更新スケールのミスマッチを補正しない。 等価チェックポイントから再起動させるには、行列ペアをバランスさせ、モーメント推定をまとめて変換し、異なるが等価なトレーニング状態を同じ出発点に導く。 予測を変更せずに、ペアトランスフォーマー行列間のスケール不均衡を補正するために、厳密な対称性対のフロベニウスノルムを周期的に等しくするシンメトリー・アウェア・グラディエント幾何安定化(SAGGS)とその減衰変種であるソフトSAGGSを提案する。 SAGGSはWikiText-103でパープレキシティ(PPL)を0.374\pm0.026$で下げ、Soft SAGGSはPPLを0.780\pm0.040$で下げる。 123.8Mのチェックポイント-リジューム実験では、行列対の相互再スケーリングは再起動時に検証損失をほとんど変更しないが、最終的なPLPを3.78 pm0.42$で増加させる。

関連論文リスト

• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
  予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。 変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
  論文  参考訳（メタデータ） (2022-03-02T15:36:44Z)
• Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
  SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。 この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。 我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
  論文  参考訳（メタデータ） (2022-02-02T11:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。