論文の概要: The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation

• arxiv url: http://arxiv.org/abs/2610.00423v2
• Date: Mon, 05 Oct 2026 13:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:43:28.494079
• Title: The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation
• Title（参考訳）: 大量活性化のライフサイクル:確率的出生、体重・脱毛型成長、競争的統合
• Abstract要約: 変圧器における大量活性化の出現, 成長, 統合について検討する。 我々の中心的な結果は、重量減衰が地球の活性化スケールの回転を因果的に制御することである。 本研究では,AdamWプレコンプレコンディショニング成長が重量減少に反する大規模活性化マグニチュードの上昇とピークのバランスモデルを構築した。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massive activations, residual-stream coordinates with magnitudes far larger than typical activations, are associated with attention sinks in transformers, but how their scale is regulated during training remains incompletely understood. Combining training-trajectory analyses and controlled interventions, we trace their emergence, growth, and consolidation. Sink-carrying channels vary across random seeds but stabilize early within each run. Over longer training, surrounding channels erode and the sink concentrates onto a few redundant carriers. Across ablations, gradient attenuation follows the sink token's collective root-mean-square magnitude rather than any single channel, making collective scale central to understanding their effects. Our central result is that weight decay causally controls the turnover of global activation scale. In controlled continuations, removing decay near the peak allows this scale to keep rising, whereas retaining it produces decline even at constant learning rate. We develop a balance model for the rise and peak of massive-activation magnitude, in which AdamW-preconditioned growth opposes weight decay. Sweeping the decay coefficient $λ$ shifts peak timing approximately log-linearly and yields peak magnitudes scaling approximately as $λ^{-1/2}$, consistent with this balance. Optimizer measurements further show that preconditioning sustains the large-channel cohort against decay even when raw maintaining forces are too small to do so. Together, these findings connect the observed life cycle to scale-regulating training dynamics and establish weight decay as a training-time lever on activation magnitude.
• Abstract（参考訳）: 大規模な活性化は、典型的な活性化よりも遥かに大きい残流座標であり、変圧器の注意シンクと関連付けられるが、訓練中にそのスケールがどう調節されるかは未解明のままである。 トレーニング・トラジェクトリ分析と制御された介入を組み合わせることで、その出現、成長、統合を辿る。 シンクキャリングチャネルはランダムな種によって異なるが、各ランの早い段階で安定している。 長期間の訓練を経て、周囲のチャネルは消滅し、シンクはいくつかの冗長なキャリアに集中する。 アブレーション全体では、勾配の減衰はシンクトークンの1つのチャネルではなく、集合的なルート平均平方等級に従っており、その効果を理解するために集団スケールが中心となる。 我々の中心的な結果は、重量減衰が地球の活性化スケールの回転を因果的に制御することである。 制御された継続では、ピーク付近の崩壊を除去することで、このスケールは上昇し続けることができ、一方で一定の学習速度でも低下を生じさせる。 本研究では,AdamWプレコンプレコンディショニング成長が重量減少に反する大規模活性化マグニチュードの上昇とピークのバランスモデルを構築した。 崩壊係数$λ$は、ほぼ対数直線的にピークタイミングをシフトし、このバランスと一致する約$λ^{-1/2}$のピークスケールを得る。 最適化器の測定により、生の維持力が小さすぎる場合でも、プレコンディショニングが大きなチャネルコホートを崩壊に対して維持することが示された。 これらの知見は、観測されたライフサイクルをスケール制御トレーニングのダイナミクスに結びつけるとともに、運動量のトレーニングタイムレバーとしてウェイト崩壊を確立する。

関連論文リスト

• Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries [11.824913874212802]
  遅延一般化(英: Delayed generalization, 英: grokking)は、広範な実証研究にもかかわらず、いまだに理解されていない。 フルバッチ重ボール最適化と重み減衰を訓練した線形モデルにおいて、グルーキングの正確な解答可能な遅延緩和機構を同定する。
  論文  参考訳（メタデータ） (2026-07-27T03:30:44Z)
• Geometric Decoherence Time in Lindbladian Dynamics [0.0]
  対数ネガティビティとRényi-$tfrac1212エントロピーの間のモノトン関係の最初期の瞬間として定義される$geometric$$decoherence$$$time$を導入する。 量子相互情報は相補的な長期診断を提供することを示す。 その結果,デコヒーレンスの発生を動的に追跡できる尺度が得られた。
  論文  参考訳（メタデータ） (2026-06-01T18:06:40Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)
• ScaleLong: Towards More Stable Training of Diffusion Model via Scaling Network Long Skip Connection [152.01257690637064]
  UNetにおけるLCCの係数は,UNetの前方・後方伝播の安定性とロバスト性に大きな影響を及ぼすことを示す。 UNet における LSC の係数をスケールし,UNet のトレーニング安定性を向上する,効果的な係数スケーリングフレームワーク ScaleLong を提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:45:52Z)
• Varying quench dynamics in the transverse Ising chain: the Kibble-Zurek, saturated, and pre-saturated regimes [4.990033559491569]
  Kibble-Zurek機構によれば、欠陥密度とクエンチレートとの間には普遍的なパワー・ロー関係がある。 様々なクエンチのダイナミクスを観察し、飽和状態とキブルズールク状態の間に位置する飽和状態を特定する。
  論文  参考訳（メタデータ） (2023-07-17T16:09:29Z)
• Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks [33.88586668321127]
  本研究は,ディープニューラルネットワークにおける個々のニューロンの更新挙動に重み劣化が及ぼす影響について検討する。 本研究では, 回転を明示的に制御することで, 重量減衰の利点が得られ, 学習率のウォームアップを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2023-05-26T19:14:01Z)
• On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective [90.39123717733334]
  そこで本研究では,Shduled Weight Decay (SWD) 法と呼ばれる,減量のための最初の実用的なスケジューラを提案する。 我々の実験は、SWDが実際に大きな勾配ノルムを緩和し、適応モーメント推定(Adam)の従来の定重崩壊戦略を著しく上回っていることも裏付けている。
  論文  参考訳（メタデータ） (2020-11-23T00:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。