論文の概要: Weight-Decay Turns Transformer Loss Landscapes Villani: Functional-Analytic Foundations for Optimization and Generalization

• arxiv url: http://arxiv.org/abs/2605.06599v1
• Date: Thu, 07 May 2026 17:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:12.035143
• Title: Weight-Decay Turns Transformer Loss Landscapes Villani: Functional-Analytic Foundations for Optimization and Generalization
• Title（参考訳）: ウェイトデカイはトランスフォーマーのランドスケープをビラニに変える:最適化と一般化のための機能分析基盤
• Authors: Abhijit Das, Sayantan Dutta,
• Abstract要約: 本稿では,標準トランスフォーマーの目標-エントロピー損失を$L2$正規化した,厳密な機能解析手法として初めて提供する。 正規化損失 $mathcalF$ は無限微分可能であり、少なくとも二次的に成長し、ガウス積分可能な尾を持ち、微分成長条件 $-mathcalF + tfrac1s|nablamathcalF|2 を満たす。
• 参考スコア（独自算出の注目度）: 2.9582724435853858
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weight decay is widely used as a regularizer in large language models, yet its precise role in shaping Transformer loss landscapes remains theoretically underexplored. This paper provides the first rigorous functional-analytic characterization of the standard Transformer objective--cross-entropy loss with $L^2$ regularization--by proving it satisfies Villani's criteria for coercive energy functions. Specifically, we show that the regularized loss $\mathcal{F}$ is infinitely differentiable, grows at least quadratically, has Gaussian-integrable tails, and satisfies the differential growth condition $-Δ\mathcal{F} + \tfrac{1}{s}\|\nabla\mathcal{F}\|^{2} \to \infty$ as $\|θ\| \to \infty$ for all $s>0$. From this structure, we derive explicit log-Sobolev and Poincaré constants $C_{\mathrm{LS}} \leq λ^{-1} + d/λ^{2}$, linking the regularization strength $λ$ and model dimension $d$ to finite-time convergence guarantees for noisy stochastic gradient descent and PAC-Bayesian generalization bounds that tighten with increasing $λ$. To validate our theory, we introduce a scalable Villani diagnostic $Ψ_s(θ) = -Δ\mathcal{F} + s^{-1}\|\nabla \mathcal{F}\|^2$ and estimate it efficiently using Hutchinson trace probes in models with over 100M parameters. Experiments on GPT-Neo-125M across Penn Treebank and WikiText-103 confirm the predicted quadratic growth of $Ψ_s$, spectral inflation of the Hessian, and exponential convergence behavior consistent with our log-Sobolev analysis. These results demonstrate that weight decay not only improves generalization empirically but also establishes the mathematical conditions required for fast Langevin mixing and theoretically grounded curvature-aware optimization in deep learning.
• Abstract（参考訳）: 重崩壊は大規模言語モデルにおける正規化要因として広く用いられているが、トランスフォーマーの損失景観の形成におけるその正確な役割は理論的には過小評価されている。 本稿では, 標準トランスフォーマーの目標-エントロピー損失と, 正規化$L^2$-の厳密な関数解析特性について, ビラーニの保磁エネルギー関数の基準を満たすことを証明した。 具体的には、正規化損失 $\mathcal{F}$ が無限微分可能であり、少なくとも二次的に成長し、ガウス積分可能な尾を持ち、微分成長条件 $-Δ\mathcal{F} + \tfrac{1}{s}\|\nabla\mathcal{F}\|^{2} \to \infty$ as $\|θ\| \to \infty$ for all $s>0$ を満たすことを示す。 この構造から、明示的な対数ソボレフ定数とポアンカレ定数 $C_{\mathrm{LS}} \leq λ^{-1} + d/λ^{2}$ を導出し、正規化強度 $λ$ とモデル次元 $d$ をノイズ確率勾配降下と PAC-ベイジアン一般化境界の有限時間収束を保証する。 我々の理論を検証するため、スケーラブルなヴィラニ診断法として、100M以上のパラメータを持つモデルでハッチンソントレースプローブを用いて効率的に推定する。 Penn Treebank と WikiText-103 の GPT-Neo-125M に関する実験により,予測された2次成長が $ _s$,Hessian のスペクトルインフレーション,および我々の対数ソボレフ解析と一致する指数収束挙動が確認された。 これらの結果は、ウェイト崩壊が一般化を経験的に改善するだけでなく、高速ランゲヴィン混合に必要な数学的条件と、理論上は深層学習における曲率-認識最適化を確立することを証明している。

関連論文リスト

• When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
  良性オーバーフィッティングが線形レートで失敗することを示します。 この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
  論文  参考訳（メタデータ） (2026-05-07T14:14:09Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Singular Bayesian Neural Networks [1.2891210250935148]
  ベイズニューラルネットワークはキャリブレーションされた不確かさを約束するが、標準平均体ガウス後方に対する$O(mn)$パラメータを必要とする。 我々は、ルベーグ測度に関して特異な後部を誘導し、ランク-$r$多様体に集中する。 複素項が $sqrtr(m+n)$ ではなく $sqrtm n$ としてスケールするPAC-Bayes 一般化境界を導出し、誤差を最適化とランク誘導バイアスに分解する損失境界を証明する。
  論文  参考訳（メタデータ） (2026-01-30T23:06:34Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• Convergence of Langevin Monte Carlo in Chi-Squared and Renyi Divergence [8.873449722727026]
  推定値である$widetildemathcalO(depsilon-1)$が,これらの測定値の既知レートを改善することを示す。 特に凸および1次滑らかなポテンシャルについて、LCCアルゴリズムは、これらの測定値の既知率を改善するために$widetildemathcalO(depsilon-1)$を推定する。
  論文  参考訳（メタデータ） (2020-07-22T18:18:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。