論文の概要: Joint Affine Spectral Shaping: Coupling Weight and Bias Updates Beyond Weight-Only Muon
- arxiv url: http://arxiv.org/abs/2608.02991v1
- Date: Tue, 04 Aug 2026 01:08:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.9842
- Title: Joint Affine Spectral Shaping: Coupling Weight and Bias Updates Beyond Weight-Only Muon
- Title（参考訳）: Affine Spectral Shaping: 重量とバイアスの結合は重量のみのムーンを超えた
- Abstract要約: 行列スペクトルは重み付けされたスペクトルを再構成するが、通常はベクトル値バイアスを別のスペクトルに委譲する。
それぞれのアフィン層を合同運動量行列 $A=[M_W,m_b]$ として定式化し、正則化逆スペクトル写像を完全行列に適用する。
IMDbでスクラッチから訓練した4層BERT-miniの厳密な5シードアブレーションは、SVDミューオン、重量のみの逆整形、アフィンプローブ逆整形、および提案された関節正則逆整形と比較した。
- 参考スコア（独自算出の注目度）: 11.323131201168572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Matrix spectral optimizers reshape weight-update spectra but usually delegate vector-valued biases to a separate optimizer. We study whether this separation is neutral. We formulate each affine layer as a joint momentum matrix $A=[M_W,αm_b]$ and apply a capped regularized-inverse spectral map to the complete matrix, producing both the weight and physical bias updates. A strict five-seed ablation on a four-layer BERT-mini trained from scratch on IMDb compares exact-SVD Muon, weight-only inverse shaping, affine-probe inverse shaping, and the proposed joint regularized inverse (JRI). Weight-only inverse shaping raises validation-loss-selected test accuracy from $84.903\pm0.242\%$ to $85.562\pm0.308\%$ and lowers selected test loss from $0.3479$ to $0.3345$. Allowing bias to alter the joint SVD while retaining an independent Adam bias update does not improve over weight-only inverse shaping. Using the transformed bias jointly raises selected test accuracy to $85.738\pm0.180\%$ and lowers test loss to $0.3291$, with all five seeds improving relative to the probe baseline. During the peak-performance window, JRI preserves the eligible weight-update norm while reducing the bias-update norm from $0.02095$ to $0.00301$, lowers boundary-function share from $86.58\%$ to $78.97\%$, and changes the cosine between weight-induced boundary motion and explicit bias from $+0.030$ to $-0.137$. An independent 22-seed replication yields $85.743\pm0.203\%$ selected test accuracy. These results identify joint affine spectral allocation as a small but consistent extension to weight-only spectral optimization.
- Abstract（参考訳）: 行列スペクトルオプティマイザは重み更新スペクトルを再構成するが、通常はベクトル値バイアスを別のオプティマイザに委譲する。
この分離が中立かどうか調査する。
それぞれのアフィン層を合同運動量行列$A=[M_W,αm_b]$として定式化し、キャップ付き正規化逆スペクトル写像を完全行列に適用し、重みと物理的バイアスの両方を更新する。
IMDbでスクラッチから訓練した4層BERT-miniの厳密な5シードアブレーションは、SVDミューオン、重量のみの逆整形、アフィンプローブ逆整形、および提案された関節正則逆整形(JRI)と比較した。
重量のみの逆整形は、バリデーション選択されたテスト精度を84.903\pm0.242\%から85.562\pm0.308\%に引き上げ、選択されたテスト損失を0.3479$から0.3345$に下げる。
独立したAdamバイアス更新を維持しながら関節SVDを変更するバイアスは、重量のみの逆整形よりも改善されない。
変換バイアスを使用することで、選択されたテスト精度が85.738\pm0.180\%$に上昇し、テスト損失が0.3291$に低下し、全ての5種の種子がプローブベースラインに対して改善された。
ピーク時性能ウィンドウにおいて、JRIは、バイアス更新基準を0.02095$から0.00301$に下げ、境界関数のシェアを86.58\%$から78.97\%$に下げ、重量誘起境界運動と明示バイアスのコサインを+0.030$から$-0.137$に下げる。
独立した22シードの複製は85.743\pm0.203\%$選択されたテスト精度をもたらす。
これらの結果は、重みのみのスペクトル最適化に対する小さいが一貫した拡張として、結合アフィンスペクトル割り当てを同定する。
関連論文リスト
- Odds-Shift Slippage in One-vs-Rest Rankers: Diagnosing and Repairing Reweighting-Induced Top-K Errors [0.0]
多くのレアレーベルの上位Kドルを示すワンレストローダは通常、ラベルごとのポジティブクラスウェイトと不均衡に対処する。
我々は、葉の段差が$c$に抑えられているブースターが、少なくとも$Tc$のシフトを$$$で実現していることを証明している。
論文 参考訳（メタデータ） (2026-09-12T08:45:57Z) - Hidden Boundary Motion in Transformer Optimization: Function-Space Orthogonalization of Affine Weight and Bias Updates [0.0]
我々は、この隠れたコントリビューション・ファンウンダリ・モーションと呼び、各更新をエンハンシェープ・コンポーネントと共有エンハンダリ・コンポーネントに分解する。
単座実験では、SBO-AdamWはバリデーション精度を81.68%から85.81%に引き上げ、バリデーション選択テスト精度を78.73%から82.73%に引き上げた。
論文 参考訳（メタデータ） (2026-07-24T21:51:43Z) - Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy [17.48959208263029]
我々は,クリーンな後進平均を予測し,正確なカーネル依存線形写像を用いてスコアに変換するEmphmean-to-score (M2S)を導入する。
均一な汚職のために、確率的単純度をブリッジポリトープにマッピングし、吸収マスクの破損のためにMD4を正確に回収する。
論文 参考訳（メタデータ） (2026-07-23T14:37:30Z) - Quantifying Diversity of Thought: A Predictive Law of Weighted LLM Ensemble Lift [0.0]
本稿では,大規模言語モデルのアンサンブルにおいて,思考の多様性がもたらす上昇を計算するための実験的に検証された形式法について述べる。
2つの大学院レベルの科学ベンチマークで、10のオープンウェイトモデルから767,520の推論を検証した。
論文 参考訳（メタデータ） (2026-07-19T19:01:06Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-20T19:34:53Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Singular Bayesian Neural Networks [1.2891210250935148]
ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。
我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。
複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
論文 参考訳（メタデータ） (2026-01-30T23:06:34Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。