論文の概要: Unified Neural Scaling Laws

• arxiv url: http://arxiv.org/abs/2605.26248v1
• Date: Mon, 25 May 2026 18:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.31067
• Title: Unified Neural Scaling Laws
• Title（参考訳）: 統一型ニューラルスケーリング法則
• Authors: Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish,
• Abstract要約: 本稿では,ディープニューラルネットワークのスケーリング動作を正確にモデル化し,外挿する機能形式を提案する。 このセットには、大規模ビジョン、言語、数学、強化学習が含まれる。
• 参考スコア（独自算出の注目度）: 25.998188481650534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a functional form (that we refer to as a Unified Neural Scaling Law (UNSL)) that accurately models and extrapolates the scaling behaviors of deep neural networks as multiple dimensions all vary simultaneously (i.e. how the evaluation metric of interest varies as one simultaneously varies the number of model parameters, training dataset size, number of training steps, number of inference steps, amount of compute, and various hyperparameters) for various architectures and for each of various tasks within a varied set of upstream and downstream tasks. This set includes large-scale vision, language, math, and reinforcement learning. When compared to other functional forms for neural scaling, this functional form yields extrapolations of scaling behavior that are considerably more accurate on this set.
• Abstract（参考訳）: 本稿では, 深層ニューラルネットワークのスケーリング挙動を複数の次元で正確にモデル化し外挿する機能形式(UNSL)を提案する。例えば, モデルパラメータ数, トレーニングデータセットサイズ, トレーニングステップ数, 推論ステップ数, 計算量, 各種ハイパーパラメータ)を, 上流タスクと下流タスクの様々なセット内において, それぞれ同時に変化する。 このセットには、大規模ビジョン、言語、数学、強化学習が含まれる。 ニューラルスケーリングの他の機能形式と比較すると、この関数形式は、この集合においてかなり正確なスケーリングの振る舞いの補間をもたらす。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Broken Neural Scaling Laws [9.020652910657931]
  ブロークニューラルスケーリング法(BNSL)は、ディープニューラルネットワークのスケーリング挙動を正確にモデル化し、外挿する。 このセットには、大規模ビジョン、言語、オーディオ、ビデオ、拡散、生成モデリング、マルチモーダル学習、コントラスト学習、AIアライメント、ロボット工学、アウト・オブ・ディストリビューション(OOD)一般化が含まれる。
  論文  参考訳（メタデータ） (2022-10-26T17:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。