論文の概要: Hidden Boundary Motion in Transformer Optimization: Function-Space Orthogonalization of Affine Weight and Bias Updates

• arxiv url: http://arxiv.org/abs/2607.22927v1
• Date: Fri, 24 Jul 2026 21:51:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.93038
• Title: Hidden Boundary Motion in Transformer Optimization: Function-Space Orthogonalization of Affine Weight and Bias Updates
• Title（参考訳）: 変圧器最適化における隠れ境界運動:アフィン重みの関数空間直交化とバイアス更新
• Abstract要約: 我々は、この隠れたコントリビューション・ファンウンダリ・モーションと呼び、各更新をエンハンシェープ・コンポーネントと共有エンハンダリ・コンポーネントに分解する。 単座実験では、SBO-AdamWはバリデーション精度を81.68%から85.81%に引き上げ、バリデーション選択テスト精度を78.73%から82.73%に引き上げた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weights and biases are normally optimized as separate parameter tensors, yet they do not represent separate functions when the input to an affine layer has nonzero mean. For an affine map $z=Wx+b$ with input mean $μ$, a weight update contains a sample-independent displacement $ΔWμ$ that is functionally indistinguishable from a bias update. We call this hidden contribution \emph{boundary motion} and decompose each update into a centered, sample-varying \emph{shape} component and a shared \emph{boundary} component. On a four-layer Transformer trained from scratch on IMDb, the bias-like term $g_bμ^\top$ has a median norm equal to 0.664 of the raw weight-gradient norm across affine layers and training checkpoints. More strikingly, the median ratio $\norm{ΔWμ}/\norm{Δb}$ is 134.7, while $\norm{ΔWμ}/\norm{Δb+ΔWμ}$ is 0.994. Thus, under AdamW, the observed boundary motion is almost entirely realized through the weight matrix rather than the explicit bias. We implement a diagnostic optimizer, Shape--Boundary Orthogonal AdamW (SBO-AdamW), that optimizes $g_W-g_bμ^\top$ and $g_b$ with independent Adam states and compensates the weight-induced boundary displacement. In a single-seed experiment, SBO-AdamW raises validation accuracy from 81.68\% to 85.81\% and validation-selected test accuracy from 78.73\% to 82.73\%, with the best validation checkpoint occurring at step 800 instead of step 3000. However, the moving-batch-center compensation produces severe bias-coordinate drift and strongly reduces boundary energy. The present evidence therefore supports hidden boundary motion as an important optimization mechanism, but it does not yet establish a final general-purpose optimizer. A stable centered-affine parameterization is identified as the required next step.
• Abstract（参考訳）: 重みとバイアスは通常、別のパラメータテンソルとして最適化されるが、アフィン層への入力がゼロ平均ではない場合には、別の関数を表現しない。 入力平均$μ$のアフィンマップ$z=Wx+b$に対して、重み更新は、バイアス更新と機能的に区別できないサンプル独立変位$ΔWμ$を含む。 隠れたコントリビューション \emph{boundary motion} と呼び、各更新を中央のサンプル変数 \emph{shape} コンポーネントと共有の \emph{boundary} コンポーネントに分解する。 IMDb上のスクラッチから訓練された4層トランスフォーマーにおいて、$g_bμ^\top$というバイアスのような用語は、アフィン層とトレーニングチェックポイントをまたいだ生重量勾配ノルムの0.664に等しい。 より驚くべきことに、中央値の$\norm{ΔWμ}/\norm{Δb}$は134.7であり、$\norm{ΔWμ}/\norm{Δb+ΔWμ}$は0.994である。 したがって、AdamWの下では、観測された境界運動は明らかに偏りではなく、重み行列によってほぼ完全に実現される。 我々は,独立なアダム状態で$g_W-g_bμ^\top$と$g_b$を最適化し,重量誘起境界変位を補償する診断最適化器,Shape-Boundary Orthogonal AdamW (SBO-AdamW)を実装した。 単座実験では、SBO-AdamWは、検証精度を81.68\%から85.81\%に引き上げ、検証選択されたテスト精度を78.73\%から82.73\%に引き上げる。 しかし、移動バッチ中心補償は、重度のバイアス座標ドリフトを発生させ、境界エネルギーを強く減少させる。 したがって, 隠れ境界運動を重要な最適化機構として支持するが, 最終的な汎用最適化機構は確立していない。 安定した中心-アフィンパラメータ化が要求される次のステップとして特定される。

関連論文リスト

• Same Flow, Different Paths: Variance Reduction in Flow Matching [67.12978375116599]
  最適化の観点から,この経路の選択について検討する。 我々の主な発見は、パス $g_t$ の選択は、SGDの収束率を根本的に変えることができるということである。
  論文  参考訳（メタデータ） (2026-09-15T15:01:04Z)
• Gradient-Update Mismatch: Rethinking Conflict-Free Training of Physics-Informed Neural Networks [29.66774607766935]
  グラディエント手術法は、変換前の競合を減らすために、損失特異的勾配からの方向を設定することでこの問題を軽減する。 a_t$は勾配手術によって構築された方向、$u_t$は提案、$mathcalC_t$は損失特異的勾配によって誘導される競合のない勾配を表す。 我々は、Gradient-Update Alignment (GUA)を提案する。これは、$u_t$をmathcalC_t$に投射し、一致した更新を$p_t$とし、パラメータに$p_t$を適用する。
  論文  参考訳（メタデータ） (2026-09-01T17:20:13Z)
• High-dimensional nonparametric changepoint detection via low-rank degree-two density projection [2.1991623402625606]
  本稿では,行列平均推定による密度推定を置き換えつつ,最大2倍の密度情報を保持する表現に基づく手法を提案する。 周囲の寸法を最大200ドル(約2万2000円)、3変量$d=100ドル(約1万2000円)のシーケンス、そして128ドル(約1万2000円)のヒューマンアクティビティ・ベンチマークは、この手法が計算学的に実用的であることを示している。
  論文  参考訳（メタデータ） (2026-08-14T03:48:29Z)
• Joint Affine Spectral Shaping: Coupling Weight and Bias Updates Beyond Weight-Only Muon [11.323131201168572]
  行列スペクトルは重み付けされたスペクトルを再構成するが、通常はベクトル値バイアスを別のスペクトルに委譲する。 それぞれのアフィン層を合同運動量行列 $A=[M_W,m_b]$ として定式化し、正則化逆スペクトル写像を完全行列に適用する。 IMDbでスクラッチから訓練した4層BERT-miniの厳密な5シードアブレーションは、SVDミューオン、重量のみの逆整形、アフィンプローブ逆整形、および提案された関節正則逆整形と比較した。
  論文  参考訳（メタデータ） (2026-08-04T01:08:33Z)
• Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
  不変学習は、構造が統計的に識別可能であっても失敗することがある。 ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。 合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
  論文  参考訳（メタデータ） (2026-06-11T05:49:43Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Ghosts of Softmax: Complex Singularities That Limit Safe Step Sizes in Cross-Entropy [0.0]
  クロスエントロピートレーニング分析は、提案されたステップが目標を減少させるかどうかを予測するために、損失の局所的なテイラーモデルに依存する。 提案した更新方向に沿って,ロジット線形化の下で閉形式式を導出する。 _a$の正規化は、標準偏差$0.992$から$0.164$へのオンセット閾値の広がりを縮小する。
  論文  参考訳（メタデータ） (2026-03-13T19:42:12Z)
• OLion: Approaching the Hadamard Ideal by Intersecting Spectral and $\ell_{\infty}$ Implicit Biases [29.60546958677364]
  nameAは、更新方向からのスペクトル制御と、署名更新からの座標制御を組み合わせる。 我々は、軽度で経験的に証明された対角対等方性仮定の下で収束を証明した。 nameA は運動量レベル状態のみを使用しながら、同等のチューニングの下でAdamW と Muon にマッチするか、より優れています。
  論文  参考訳（メタデータ） (2026-02-01T08:59:45Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
  遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。 本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2021-06-22T15:50:45Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。