論文の概要: Data Predictability Shapes Weibull Weight-Scale Growth in Transformer Training
- arxiv url: http://arxiv.org/abs/2608.23573v1
- Date: Sat, 27 Jun 2026 12:26:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.329004
- Title: Data Predictability Shapes Weibull Weight-Scale Growth in Transformer Training
- Title（参考訳）: トランスフォーマートレーニングにおけるウェイブル重量成長の予測可能性
- Abstract要約: 学習条件付き法則を定める前に計算した学習自由統計法則が得られた。
トレーニングの前に$D$が計算されるので、この法則はフォワード予測器である。
クロスコーパス予測 オーバー予測コード、冗長性はより広い$(D,R,A,H)$データ・ツー・ウェイト・フレームワークの第2軸を意味する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A trained transformer's weight magnitudes can be summarized by a two-parameter Weibull distribution whose shape $k \approx 1.2$ is stable across layers and models, so the scale $λ$ carries most training-induced movement. What corpus property sets how much $λ$ grows? Using the bigram conditional entropy $D = H(\text{next} \mid \text{prev})$, a training-free statistic computed before training, we find across controlled corruption families a learning-rate-conditioned law, $λ^2 - λ_0^2 = C_0(η) + C_1(η)(H_r - D)^{0.59}$, where $H_r$ is a matched-budget shuffle baseline. The convex exponent is inherited from an independently measured data-side saturation relation rather than fitted directly to the growth curve. After removing the two per-$η$ coefficients, 23 runs spanning an order of magnitude in learning rate collapse onto $(H_r - D)^{0.59}$ with unit slope ($R^2 = 0.941$; direct per-$η$ fits are weaker, $R^2 \approx 0.82$). Because $D$ is computed before training, the law is a forward predictor: an end-to-end self-validation recovers held-out within-family weight growth with 5.7% relative error. The readout holds at model and per-layer resolutions and across two tested architectures, with the functional form preserved and only the coefficients changing. It also marks its boundary: cross-corpus prediction over-predicts code, implicating redundancy as a second axis of a broader $Φ(D,R,A,H)$ data-to-weight framework.
- Abstract（参考訳）: 訓練された変圧器の重量の大きさは、2パラメータのワイブル分布によって要約することができ、その形状$k \approx 1.2$は層やモデル間で安定である。
どんなコーパスプロパティがλ$がどれだけ成長するか?
bigram 条件付きエントロピー $D = H(\text{next} \mid \text{prev})$, トレーニング前に計算された学習自由統計量を用いて、制御された汚職族全体で、学習順序付き法則 $λ^2 - λ_0^2 = C_0(η) + C_1(η)(H_r - D)^{0.59}$, ここで、$H_r$ は一致した予算シャッフル基底である。
凸指数は、成長曲線に直接嵌合するのではなく、独立に測定されたデータ側飽和関係から継承される。
2つの$η$係数を除いた後、23は、単位勾配(R^2 = 0.941$;direct per-$η$ fits is weak, $R^2 \approx 0.82$)を持つ$(H_r - D)^{0.59}$に崩壊する。
D$はトレーニング前に計算されるので、この法則は前方予測であり、エンドツーエンドの自己バリデーションは5.7%の相対誤差で家内重量成長を回復する。
読み出しは、モデルと層ごとの解像度と、2つのテストされたアーキテクチャにまたがって保持され、関数形式は保存され、係数のみが変化する。
クロスコーパス予測 オーバー予測コード、冗長性はより広い$(D,R,A,H)$ Data-to-weightフレームワークの第2軸として意味する。
関連論文リスト
- Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences [17.927451930317197]
自己回帰言語モデルの実証的なスケーリング法則は、予測損失をモデルサイズ、データサイズ、最適化計算に関連付ける。
本研究では,安定な潜在線形RNNが軌道を発生し,スケッチされた線形リカレント学習者は,次の予測に基づいて,安全でフルバッチなWSD勾配勾配で学習する,学習可能な教師-学生モデルを用いて検討する。
論文 参考訳（メタデータ） (2026-08-23T13:37:15Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Efficient and Minimax-optimal In-context Nonparametric Regression with Transformers [5.687100661457289]
我々は、$(log n)パラメータと$bigl(n2/(2+d)log3 nbigr)$事前学習列を持つ事前学習変換器が、最小収束率を達成できることを証明する。
論文 参考訳（メタデータ） (2026-01-21T14:13:38Z) - Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。
学習がエラー分布の「ハードテール」を小さくすることを示す。
論文 参考訳（メタデータ） (2026-01-07T10:00:17Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data [31.52603443208588]
本稿では,2段階サンプリングモデルにおけるディープフェデレート回帰の一般化特性について検討する。
その結果,エントロピー次元を特徴とする固有次元は,深層学習者の収束率を決定する上で重要な役割を担っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-10-28T01:36:25Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。