論文の概要: How Width and Data Shape Generalization Scaling Laws in Quadratic Neural Networks

• arxiv url: http://arxiv.org/abs/2606.28242v1
• Date: Fri, 26 Jun 2026 16:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.540888
• Title: How Width and Data Shape Generalization Scaling Laws in Quadratic Neural Networks
• Title（参考訳）: 二次ニューラルネットワークにおける幅とデータ形状の一般化スケーリング法則
• Abstract要約: 特徴学習モデルにおいて、トレーニング可能なパラメータの数とサンプル数によって一般化がいかにスケールするかを検討する。 この結果から,パラメータの数が異なるため,異なるスケーリング機構を持つ位相図が得られた。
• 参考スコア（独自算出の注目度）: 29.557636603874105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how performance scales jointly with model size and data is a central problem in modern machine learning. Existing theoretical works on scaling laws typically describe generalization as a function of data or compute, often in fixed-feature or infinite-width regimes and for online SGD. Here, we instead study how generalization scales with the number of trainable parameters and the number of samples in a feature-learning model. We analyze $\ell_2$-regularized empirical test error minimization in a quadratic two-layer network in a finite-sample setting with structured data. This setting allows for an explicit characterization of the generalization error as a function of the number of samples, model width, and regularization. Our results reveal a phase diagram with distinct scaling regimes as the number of parameters varies. In particular, the generalization error follows data-dependent power laws controlled by the spectral structure of the target. We further characterize the transitions between regimes, including the onset of interpolation, and their impact on generalization.
• Abstract（参考訳）: モデルサイズとデータとの併用によるパフォーマンスのスケールアップの理解は、現代の機械学習における中心的な問題である。 既存の法則のスケーリングに関する理論的研究は、典型的には一般化をデータや計算の関数として記述する。 そこで本研究では,訓練可能なパラメータの数と,特徴学習モデルにおけるサンプル数によって,一般化のスケールについて検討する。 我々は、構造化データを用いた有限サンプル設定において、二次2層ネットワークにおける$\ell_2$-regularized empirical test error minimizationを解析した。 この設定により、サンプル数、モデル幅、正規化の関数として一般化誤差を明示的に特徴づけることができる。 この結果から,パラメータの数が異なるため,異なるスケーリング機構を持つ位相図が得られた。 特に、一般化誤差は、ターゲットのスペクトル構造によって制御されるデータ依存の電力法則に従う。 さらに、補間開始を含む体制間の遷移とその一般化への影響を特徴づける。

関連論文リスト

• A renormalization-group inspired lattice-based framework for piecewise generalized linear models [0.6599344783327052]
  再正規化群(RG)理論にインスパイアされたモデルのクラスを導入する。 これらは、機能的ANOVAや混合効果モデルに類似した付加的階層展開に基づいて構築される。 統計物理学、特にレプリカ解析の技法を用いて一般化特性を研究する。
  論文  参考訳（メタデータ） (2026-05-06T22:27:50Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• Analyzing Neural Scaling Laws in Two-Layer Networks with Power-Law Data Spectra [0.0]
  ニューラルスケーリング法則は、深層ニューラルネットワークのパフォーマンスが、トレーニングデータサイズ、モデルの複雑さ、トレーニング時間などの重要な要因とどのようにスケールするかを記述する。 我々は, 統計力学の手法を用いて, 生徒-教員間の一パス勾配勾配を解析する。
  論文  参考訳（メタデータ） (2024-10-11T17:21:42Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Studying Generalization Through Data Averaging [0.0]
  本研究では,異なるデータセットのサンプルに対する差の平均から得られる一般化ギャップと,列車および試験性能について検討する。 我々はSGDノイズの関数として一般化ギャップとモデルトレインとテスト性能の相違についていくつかの側面を予測した。
  論文  参考訳（メタデータ） (2022-06-28T00:03:40Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Explaining Neural Scaling Laws [17.115592382420626]
  訓練されたディープニューラルネットワークの人口減少は、しばしば正確なパワー-ロースケーリング関係に従う。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方に対する分散制限と分解能制限のスケーリング挙動を同定する。
  論文  参考訳（メタデータ） (2021-02-12T18:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。