論文の概要: Neural Quadratic Forms: A Unified Minimal Model for Sudden Learning and Scaling Laws

• arxiv url: http://arxiv.org/abs/2608.13335v1
• Date: Thu, 13 Aug 2026 15:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.573708
• Title: Neural Quadratic Forms: A Unified Minimal Model for Sudden Learning and Scaling Laws
• Title（参考訳）: ニューラル二次形式:急激な学習法とスケーリング法のための統一された最小モデル
• Abstract要約: スムーズなコスト関数上の勾配降下によって訓練されたニューラルネットワークは、ステップで学習することができる。 訓練損失はスムーズな電力法に従っている。 対称性がそれらの変数を固定していることが示される。
• 参考スコア（独自算出の注目度）: 12.27037893891717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained by gradient descent on a smooth cost function can nevertheless learn in steps: the cost holds on long plateaus and then drops abruptly. Meanwhile, training losses instead follow smooth power laws. Variants of both behaviors occur in architectures with very different microscopic structures, which is the signature of a few relevant collective variables. We show that a symmetry fixes what those variables are: a network layer is a sum over interchangeable units, so relabeling the units leaves it unchanged; given smoothness and the condition that a unit's gradient vanish at the origin, symmetry then enforces a universal leading form for the expansion about the near-zero weights present at the start of training, the quadratic $\Tr[WW^{\top}A(x)]$, in which every architectural detail is confined to a single ``structure matrix" $A(x)$ that we compute for each architecture. Perceptrons, attention layers, mixtures of experts, and convolutions become one model at different $A$. Its training dynamics then close on the ``order parameter" $M=WW^{\top}$ and, whenever the data matrices share an eigenbasis, reduce to a Lotka--Volterra equation whose modes switch on one after another. The smaller the initial weights, the further apart the switch-on times, and the plateaus appear as a singular limit of a smooth flow; when many modes are unresolved the same events merge into a power law in training time whose exponent the theory predicts. We confirm both numerically across training methods and architectures.
• Abstract（参考訳）: 勾配降下によって訓練されたニューラルネットワークは、スムーズなコスト関数で学習することができる。 一方、訓練損失はスムーズな権力法に従っている。 両方の振る舞いの変数は、非常に異なる顕微鏡構造を持つアーキテクチャで発生し、これはいくつかの関連する集合変数のシグネチャである。 ネットワーク層は交換可能な単位の和であり、単位を退避させるため、単位の勾配が原点で消える条件が与えられたとき、対称性は、訓練開始時に存在するほぼゼロに近い重みに関する拡張に対して普遍的な先行形式を強制する: 次数式 $\Tr[WW^{\top}A(x)]$ は、すべてのアーキテクチャの詳細が単一の`構造行列"$A(x)$ に制限され、それぞれのアーキテクチャに対して計算される。 初期重みが小さくなればなるほど、スイッチオン時間とプラトーは滑らかな流れの特異な極限として現れ、多くのモードが解かれると、指数理論が予測する訓練時間に同じ事象が合併する。 トレーニング方法とアーキテクチャの両方を数値的に確認する。

関連論文リスト

• Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry [52.75288960194919]
  最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。 対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
  論文  参考訳（メタデータ） (2026-09-09T22:35:31Z)
• Equivariance Breaks the Learning Rate [24.409404298953234]
  等変ネットワークは一般的にアダムで訓練される。 等変線形層内のこの違いの1つの源を同定する。 ブロックワイドなステップ制御と運動量蓄積が、ムオンの利点の大部分を占めることを示す。
  論文  参考訳（メタデータ） (2026-09-08T07:52:03Z)
• Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse [16.78534503577613]
  入力重みとバイアスが有限個の方向に沿って一致していることを示し、有効幅の崩壊を導いた。 我々は、学習方向がトレーニングデータに固有の3次活性化パターンを誘導することを証明することによって、学習表現の非冗長性を確立する。
  論文  参考訳（メタデータ） (2026-07-03T22:03:13Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks [8.250374560598493]
  雑音の多い質問から階層的な特徴を持つ一層教師ネットワークを学習する際の情報理論的限界について検討する。 有効幅$k_c$付近でtextscAdam を訓練した学生が,これらの最適スケーリング法則を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-11T11:39:03Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking [44.614763110719274]
  我々は、グルーキング現象、すなわち遅延一般化について研究する。 本稿では,2層非線形ネットワークのグルーキング動作の3つの重要な段階を捉える新しいフレームワークを提案する。 私たちの研究は、体重減少、学習率、グルーキングにおけるサンプルサイズといったハイパースの役割に光を当てています。
  論文  参考訳（メタデータ） (2025-09-25T20:08:09Z)
• Gradient dynamics for low-rank fine-tuning beyond kernels [9.275532709125242]
  学生-教師設定における低ランク微調整について検討する。 基本モデルにおける行列であり,オンライン勾配勾配で訓練された学生モデルが,教師に収束する,という軽微な仮定の下で証明する。
  論文  参考訳（メタデータ） (2024-11-23T00:00:28Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• A Unified Scheme of ResNet and Softmax [8.556540804058203]
  回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax ) この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
  論文  参考訳（メタデータ） (2023-09-23T21:41:01Z)
• Training Multi-Layer Over-Parametrized Neural Network in Subquadratic Time [12.348083977777833]
  我々は、損失関数によって引き起こされる経験的リスクを最小限に抑えるために、多層超並列ニューラルネットワークを訓練する問題を考察する。 本研究では,イテレーション毎のトレーニングコストの削減方法を示す。
  論文  参考訳（メタデータ） (2021-12-14T18:13:36Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。