論文の概要: Awakening of the Buddha: Subspace Learning During Population-Loss Plateaus
- arxiv url: http://arxiv.org/abs/2609.39408v1
- Date: Wed, 30 Sep 2026 09:51:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.545763
- Title: Awakening of the Buddha: Subspace Learning During Population-Loss Plateaus
- Title（参考訳）: 仏の覚醒:人口・失われた高原におけるサブスペースラーニング
- Abstract要約: ニューラルネットワークがより予測的な表現を学習している間、人口減少はほぼ一定である。
ガウス入力をトレーニングした2層ReLUと漏洩ReLUネットワークに対して,この分離を確立する。
- 参考スコア（独自算出の注目度）: 2.4140387101794283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Population loss can remain nearly constant while a neural network learns a substantially more predictive representation. We establish this separation for two-layer ReLU and leaky-ReLU networks trained on Gaussian inputs by simultaneous fixed-step population gradient descent on all parameters. For structured additive teachers whose links are positive mixtures of Gaussian-damped cubics in $H^1(γ)$, we give explicit conditions under which small IID Gaussian initialization yields a high-probability guarantee: at a checkpoint during a high-loss plateau, minimum alignment between the rank-$r$ teacher subspace and the leading $r$-dimensional eigenspace of the predictor's average gradient outer product (AGOP) increases by at least $1/2$, and the minimum refit MSE under unchanged coefficient budgets decreases by more than $0.399$, both relative to initialization. The same trajectory subsequently attains a trained loss below every value in the plateau window. A complementary result treats unequal-weight cubic teachers and small additive Sobolev perturbations using projected-feature refits. For SwiGLU networks with an exactly fitted intercept, we prove leading-AGOP alignment during a loss plateau at fixed width and dimension as Gaussian initialization vanishes, for square-integrable teachers with nonzero Hermite content of degree one, two, or three. A rank-one cubic specialization also gives simultaneous unrestricted-refit gains at a prescribed width. An approximation lower bound further shows that certain interaction targets retain nonzero error when ridge neurons are restricted to shared orthogonal axes within the teacher subspace. Population-moment experiments with ReLU students across 21 teachers and 50 initializations per teacher complement the analysis.
- Abstract（参考訳）: ニューラルネットワークがより予測的な表現を学習している間、人口減少はほぼ一定である。
我々はこの分離を,ガウス入力に基づく2層ReLUと漏洩ReLUのネットワークに対して,各パラメータに対する固定段階の集団勾配の同時降下により確立する。
H^1(γ)$ のガウス減衰立方体の正の混合である構造的加法教師に対し、小IIDガウスの初期化が高確率な保証を与える条件を与える: 高損失台地におけるチェックポイントにおいて、予測器の平均勾配外積(AGOP)のランク-r$と先頭の$r$-次元固有空間の間の最小のアライメントは少なくとも1/2$ 増加し、不等係数の予算が一定である最小の MSE は初期化に対して0.399$ 以上減少する。
同じ軌道はその後、高原の窓のすべての値以下で訓練された損失を得る。
相補的な結果として、不平等な立方体教師と小さなソボレフ摂動をプロジェクテッド・フィーチャー・リフィットを用いて処理する。
正確に配置されたインターセプトを持つSwiGLUネットワークでは,次数1,2,3の非零ヘルミットを持つ正方形積分可能な教師に対して,ガウスの初期化が消えるにつれて,損失台地における先行AGOPアライメントが証明される。
ランク1の立方体特殊化は、所定の幅で同時に無制限の利得を与える。
近似の下界は、ある種の相互作用ターゲットが、尾根ニューロンが教師部分空間内の共有直交軸に制限された場合、非ゼロ誤差を保持することを示している。
教師21名,初等化50名を対象に,ReLU学生の集団移動実験を行った。
関連論文リスト
- Can Representation Learning Decouple from Loss Minimization? Polar Updates Have an Answer [2.4140387101794283]
本研究では,訓練損失が改善しない場合に表現学習が停止するかどうかを考察する。
教師の学習玩具に対する明示的なサイクルとアライメントの公式と条件付きプラトーと崩壊境界を導出する。
33 ReLU, GELU, SiLUの教師構成について, 方向のみのアライメント尺度を用いて, 学生AGOPが周期2の発振中に教師のサブ空間に整合しているか, あるいは整合しているかを示した。
論文 参考訳（メタデータ） (2026-09-28T20:35:56Z) - Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。
我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。
我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
論文 参考訳（メタデータ） (2026-06-18T07:34:33Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Escape dynamics and implicit bias of one-pass SGD in overparameterized quadratic networks [3.198538967655537]
2層ニューラルネットワークの1パス勾配勾配勾配ダイナミクスを教師の枠組みで解析する。
本研究では,学生の進化を規定する低次元常微分方程式について考察する。
論文 参考訳（メタデータ） (2026-04-03T14:47:24Z) - Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation [4.976898227858662]
教師が指導する2層ニューラルネットワークを用いた教師型学習モデルについて考察する。
任意の活性化関数に対するネットワークのベイズ最適一般化誤差を近似する有効な理論を提供する。
論文 参考訳（メタデータ） (2025-01-30T17:56:52Z) - Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality [0.0]
ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。
正方形と幅広い損失関数を扱う。
論文 参考訳（メタデータ） (2024-06-12T15:21:51Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。