論文の概要: Weight Decay and Neuron Condensation: A Three-Stage Analysis of Two-Layer ReLU Networks
- arxiv url: http://arxiv.org/abs/2610.04533v1
- Date: Sat, 03 Oct 2026 13:59:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 19:08:12.477867
- Title: Weight Decay and Neuron Condensation: A Three-Stage Analysis of Two-Layer ReLU Networks
- Title（参考訳）: 体重減少とニューロン凝縮:2層ReLUネットワークの3段階解析
- Abstract要約: 我々は, 急速嵌合, 振幅圧縮, ニューロン凝縮の3段階を通じて, 重量減衰下でのトレーニング力学を特徴付ける。
この分析は、パラメータノルムの減少を超えて、ウェイト崩壊が凝縮表現をどのように促進するかを動的に理解する。
- 参考スコア（独自算出の注目度）: 8.884588966158471
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight decay is widely used as a regularization technique in neural network training, yet its role in neuron condensation (parameter direction alignment) remains unclear. Starting from a parameter initialization in the neural tangent kernel regime, we characterize training dynamics under weight decay through three stages: rapid fitting, amplitude compression, and neuron condensation. Using a two-layer ReLU network, we analyze a residual correlation field that governs both neuron amplitudes and directions. During rapid fitting, the residual approaches a quasi-static equilibrium maintained by weight decay while the tangent kernel remains nearly unchanged. In the early stage of amplitude compression, kernel decay amplifies the residual correlation field, whose isolated attracting extrema provide candidates for condensation directions. As neuron amplitudes stabilize, we bound the drift of attracting extrema and demonstrate contraction of neuron directions around them, leading to neuron condensation. This staged analysis provides a dynamical understanding of how weight decay promotes a condensed representation, beyond reducing parameter norms.
- Abstract（参考訳）: 体重減少はニューラルネットワークトレーニングにおける正規化手法として広く用いられているが、ニューロン凝縮(パラメータ方向アライメント)におけるその役割はいまだ不明である。
ニューラル・タンジェント・カーネル・システムにおけるパラメータ初期化から始め, 急速嵌合, 振幅圧縮, ニューロン凝縮の3段階を通じて, 重量減衰下でのトレーニング力学を特徴付ける。
2層ReLUネットワークを用いて、ニューロンの振幅と方向の両方を管理する残差相関場を解析する。
急激なフィッティングの間、残基は重量崩壊によって維持される準静的平衡に近づき、タンジェント核はほぼ変化しないままである。
振幅圧縮の初期段階では、核崩壊は残留相関場を増幅し、孤立的な誘引極端が凝縮方向の候補となる。
ニューロンの振幅が安定するにつれて、我々は極端に引き寄せる流れを束縛し、周囲のニューロン方向の収縮を示し、ニューロンの凝縮につながる。
この段階解析は、パラメータノルムの減少を超えて、ウェイト崩壊が凝縮表現をどのように促進するかを動的に理解する。
関連論文リスト
- On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。
我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
論文 参考訳（メタデータ） (2026-02-18T20:25:13Z) - Global stability of a Hebbian/anti-Hebbian network for principal subspace learning [8.27902169448946]
シナプスレベルでの修正が、ネットワークレベルでのそのような計算にどのように影響するかは、未解決の問題である。
シナプス力学の連続極限の大域的安定性は、ダイナミクスが2つの相で進化することを示している。
論文 参考訳（メタデータ） (2026-01-19T15:53:31Z) - Continuous-Time Homeostatic Dynamics for Reentrant Inference Models [0.0]
我々は、連続時間ニューラル-ODEシステムとして、Fast-Weights Homeostatic Reentry Networkを定式化する。
動力学は、エネルギー汎函数によって支配される有界な誘引子を認め、環のような多様体を生じる。
連続時間リカレントニューラルネットワークや液体ニューラルネットワークとは異なり、FHRNは、固定された再発やニューロン局所的な時間適応よりも、集団レベルのゲイン変調によって安定性を達成する。
論文 参考訳（メタデータ） (2025-12-04T07:33:13Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - How many Neurons do we need? A refined Analysis for Shallow Networks
trained with Gradient Descent [0.0]
ニューラル・タンジェント・カーネル・システムにおける2層ニューラルネットワークの一般化特性を解析した。
非パラメトリック回帰の枠組みにおいて、最小限最適であることが知られている収束の速い速度を導出する。
論文 参考訳（メタデータ） (2023-09-14T22:10:28Z) - Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias
for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。
また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文 参考訳（メタデータ） (2023-06-10T16:36:22Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。