論文の概要: Explaining Neural Scaling Laws

• arxiv url: http://arxiv.org/abs/2102.06701v2
• Date: Mon, 29 Apr 2024 00:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 03:53:07.160425
• Title: Explaining Neural Scaling Laws
• Title（参考訳）: ニューラルスケーリング法則の解説
• Authors: Yasaman Bahri, Ethan Dyer, Jared Kaplan, Jaehoon Lee, Utkarsh Sharma,
• Abstract要約: 訓練されたディープニューラルネットワークの人口減少は、しばしば正確なパワー-ロースケーリング関係に従う。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方に対する分散制限と分解能制限のスケーリング挙動を同定する。
• 参考スコア（独自算出の注目度）: 17.115592382420626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The population loss of trained deep neural networks often follows precise power-law scaling relations with either the size of the training dataset or the number of parameters in the network. We propose a theory that explains the origins of and connects these scaling laws. We identify variance-limited and resolution-limited scaling behavior for both dataset and model size, for a total of four scaling regimes. The variance-limited scaling follows simply from the existence of a well-behaved infinite data or infinite width limit, while the resolution-limited regime can be explained by positing that models are effectively resolving a smooth data manifold. In the large width limit, this can be equivalently obtained from the spectrum of certain kernels, and we present evidence that large width and large dataset resolution-limited scaling exponents are related by a duality. We exhibit all four scaling regimes in the controlled setting of large random feature and pretrained models and test the predictions empirically on a range of standard architectures and datasets. We also observe several empirical relationships between datasets and scaling exponents under modifications of task and architecture aspect ratio. Our work provides a taxonomy for classifying different scaling regimes, underscores that there can be different mechanisms driving improvements in loss, and lends insight into the microscopic origins of and relationships between scaling exponents.
• Abstract（参考訳）: 訓練されたディープニューラルネットワークの人口減少は、トレーニングデータセットのサイズとネットワーク内のパラメータ数との正確なパワー-ルールスケーリング関係に従うことが多い。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方の分散制限と分解能制限のスケーリング挙動を,合計4つのスケーリングレギュレーションに対して同定する。 分散制限スケーリングは、単に十分に定義された無限のデータや無限幅の制限の存在から成り立つが、解像度制限された状態は、モデルがスムーズなデータ多様体を効果的に解いていることを仮定することによって説明できる。 大きな幅制限では、これは特定のカーネルのスペクトルから等価に得ることができ、大きな幅と大きなデータセット解像度制限スケーリング指数が双対性によって関連していることを示す。 大規模なランダムな特徴と事前訓練されたモデルの制御された設定において,4つのスケーリング機構すべてを示し,その予測をさまざまな標準アーキテクチャやデータセット上で実証的に検証する。 また、タスクとアーキテクチャのアスペクト比の修正によるデータセットとスケーリング指数のいくつかの経験的関係を観察する。 我々の研究は、異なるスケーリング体制を分類するための分類法を提供し、損失の改善を促す異なるメカニズムが存在することを強調し、スケーリング指数の顕微鏡的起源と関係性に関する洞察を与える。

関連論文リスト

• Unified Neural Network Scaling Laws and Scale-time Equivalence [10.918504301310753]
  本稿では、モデルサイズ、トレーニング時間、データボリュームの3つの要因がどのように相互作用し、ディープニューラルネットワークの性能を決定するかという、新しい理論的特徴を示す。 まず、ニューラルネットワークのサイズを拡大し、トレーニング時間を比例的に増加させることで、理論的かつ経験的な等価性を確立する。 次に、スケール時間同値と二重降下の線形モデル解析を組み合わせ、統一された理論的スケーリング法則を得る。
  論文  参考訳（メタデータ） (2024-09-09T16:45:26Z)
• Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
  我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。 データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
  論文  参考訳（メタデータ） (2024-06-28T02:20:54Z)
• Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
  個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。 スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。 私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
  論文  参考訳（メタデータ） (2024-05-30T20:10:24Z)
• Neural Scaling Laws on Graphs [54.435688297561015]
  モデルおよびデータの観点から,グラフ上のニューラルスケーリング法則について検討する。 モデルスケーリングでは,スケール法が崩壊する現象を調査し,オーバーフィッティングを潜在的な理由として同定する。 データスケーリングについては、グラフのサイズが極めて不規則であるため、スケーリング法則においてグラフデータのボリュームを効果的に測定することはできないことを示唆する。
  論文  参考訳（メタデータ） (2024-02-03T06:17:21Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• On the Predictability of Pruning Across Scales [29.94870276983399]
  等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。 ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
  論文  参考訳（メタデータ） (2020-06-18T15:41:46Z)
• Scaling Laws for Neural Language Models [14.472857826717613]
  クロスエントロピー損失に対する言語モデル性能のスケーリング法則について検討する。 損失は、モデルサイズ、データセットサイズ、トレーニングに使用される計算量など、パワーローとしてスケールする。
  論文  参考訳（メタデータ） (2020-01-23T03:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。