論文の概要: Spectral Weight Decay: Inducing Low-Rank Structure in Neural Network Weights

• arxiv url: http://arxiv.org/abs/2610.11730v1
• Date: Thu, 08 Oct 2026 11:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.978349
• Title: Spectral Weight Decay: Inducing Low-Rank Structure in Neural Network Weights
• Title（参考訳）: スペクトル重みの減少:ニューラルネットワーク重みにおける低ランク構造の導入
• Abstract要約: 多重スペクトル収縮ではなく添加剤を施したポストステップデカップリング核ノルム更新であるスペクトル量減衰を導入する。 LLaMAモデル全体では、124$Mから500$Mのパラメータを持ち、スペクトル重み減衰効率の高いランクを持ち、一致した検証損失におけるSVD-LLM圧縮を改善する。
• 参考スコア（独自算出の注目度）: 48.87937677659571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard weight decay treats each weight matrix as a vector and ignores its spectral structure. We introduce spectral weight decay, a post-step decoupled nuclear-norm update that applies additive rather than multiplicative spectral shrinkage. We connect the update to approximate proximal descent and show that its sensitivity to update order can exceed that of conventional $\ell_2$ weight decay near rank deficiency. Across LLaMA models with $124$M to $500$M parameters, spectral weight decay lowers effective rank and improves SVD-LLM compression at matched validation loss. At $500$M and a $4\%$ distortion budget, it reaches $1.89\times$ compression and $1.18\times$ GPU inference speedup, compared with $1.14\times$ and $1.01\times$ after standard weight decay. Under fixed-horizon training with $60\%$ label noise, it also improves final mean clean-test accuracy over matched $\ell_2$ regularization by up to $17.8$ points on MNIST and $4.6$ points across four BERT-base tasks. Code is available at https://github.com/brain-lab-research/SpectralWD.
• Abstract（参考訳）: 標準重み崩壊は各重み行列をベクトルとして扱い、スペクトル構造を無視する。 多重スペクトル収縮ではなく添加剤を施したポストステップデカップリング核ノルム更新であるスペクトル量減衰を導入する。 我々は、この更新を近似した近位降下に接続し、その更新順序に対する感度が、従来の$\ell_2$ weight decay near rank deficiencyよりも優れていることを示す。 LLaMAモデル全体では、124$Mから500$Mのパラメータを持つため、スペクトル減衰は有効ランクを低くし、一致した検証損失におけるSVD-LLM圧縮を改善する。 500ドルと4.%の歪み予算で、圧縮$1.89ドル、GPU推論スピードアップ$1.18ドルに達する。 60\%のラベルノイズを持つ固定ホライゾントレーニングでは、マッチした$\ell_2$正規化に対して最終的な平均クリーンテスト精度を最大17.8ドル、BERTベース4つのタスクで4.6ドルまで改善する。 コードはhttps://github.com/brain-lab-research/SpectralWDで公開されている。

関連論文リスト

• Joint Affine Spectral Shaping: Coupling Weight and Bias Updates Beyond Weight-Only Muon [11.323131201168572]
  行列スペクトルは重み付けされたスペクトルを再構成するが、通常はベクトル値バイアスを別のスペクトルに委譲する。 それぞれのアフィン層を合同運動量行列 $A=[M_W,m_b]$ として定式化し、正則化逆スペクトル写像を完全行列に適用する。 IMDbでスクラッチから訓練した4層BERT-miniの厳密な5シードアブレーションは、SVDミューオン、重量のみの逆整形、アフィンプローブ逆整形、および提案された関節正則逆整形と比較した。
  論文  参考訳（メタデータ） (2026-08-04T01:08:33Z)
• Scale Weight Decay and Train Better [0.0]
  本稿では,ピーク学習率$/_max$のごく一部で重量減衰を拡大することを提案する。 このことは、勾配降下と非ユークリッドミューオンの両方に対して、対応する非正規化手法の定常性を保証することを証明している。 定常状態解析を用いて、標準ウェイト崩壊下では、トレーニングが進むにつれて、ウェイトノルムが着実に低下するのに対し、スケールされたウェイト崩壊では、ほぼ一定値に落ち着く理由を説明する。
  論文  参考訳（メタデータ） (2026-07-26T17:55:40Z)
• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• Training Transformers in Cosine Coefficient Space [0.0]
  キャラクターレベルのシェイクスピアのスクラッチから訓練されたトランスフォーマーは、検証損失が1.604$で$K = mn/2$に達した。 同じトレーニング可能なパラメータ数でのランク48のLoRA分解は、わずか1.801$である。 ランダムな正規直交基底はノイズ中のDCTを$K = mn/2$で一致させ、$K = mn/10$と$K = mn/20$で圧縮すると、高階行列をホストできる部分空間が損失を低く保つことを示す。
  論文  参考訳（メタデータ） (2026-04-06T05:39:31Z)
• AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
  AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
  論文  参考訳（メタデータ） (2025-11-18T18:08:20Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Weight decay induces low-rank attention layers [8.746774382296008]
  ニューラルネットワークモデルのトレーニングにおいて,重量減衰の影響だけでなく,$L2$-regularizationも検討した。 重み劣化に最適化した場合, キークエリおよび値投影行列製品$W_KTW_Q, PW_V$が注目層内にあることが確認できた。
  論文  参考訳（メタデータ） (2024-10-31T11:04:07Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。