論文の概要: Depth Improves Training-Time Scaling for Difficult Tasks in Deep Linear Networks

• arxiv url: http://arxiv.org/abs/2610.35514v1
• Date: Mon, 26 Oct 2026 14:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.031919
• Title: Depth Improves Training-Time Scaling for Difficult Tasks in Deep Linear Networks
• Title（参考訳）: ディープ線形ネットワークにおける難易度タスクの訓練時間スケーリングを改善するDepth
• Abstract要約: ニューラルスケーリング法則は、トレーニング時間、データセットサイズ、モデルスケールにおけるモデルパフォーマンスの予測可能なパワールール依存性を記述している。 最近の理論では、データ分布と学習タスクの構造によって、スケーリング指数がどのように形成されているかが示されているが、ネットワークの深さがトレーニング時間のスケーリングを改善するかどうかはまだ定かではない。
• 参考スコア（独自算出の注目度）: 10.58305210918603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural scaling laws describe the predictable power-law dependence of model performance on training time, dataset size, and model scale, with the exponents quantifying how performance changes with resources. Recent theory has shown how scaling exponents are shaped by the data distribution and the structure of the learning task, but whether network depth can improve training-time scaling has remained unsettled. Through a refined analysis of deep linear networks, we clarify that the task spectrum determines when increasing network depth improves training-time scaling. For spectrally difficult tasks, increasing depth improves the asymptotic training-time scaling exponent, whereas for easy tasks, the exponent remains independent of depth, with depth affecting only a logarithmic correction at the boundary between these regimes. Remarkably, we find that a reparameterization of time governed by the predictor norm provides a unified description of the dynamics across task difficulties. Under this reparameterization, the loss follows a common scaling law whose exponent is independent of depth. Numerical experiments on a task derived from benchmark image data and with nonlinear networks exhibit qualitatively consistent task-dependent effects of depth on training-time scaling. Our findings advance the theoretical understanding of how task structure shapes the effects of network architecture on learning and offer a basis for studying scaling behavior across broader classes of neural networks.
• Abstract（参考訳）: ニューラルスケーリング法則は、トレーニング時間、データセットサイズ、モデルスケールにおけるモデルパフォーマンスの予測可能なパワールール依存性を記述し、指数関数はリソースによるパフォーマンスの変化を定量化する。 最近の理論では、データ分布と学習タスクの構造によって、スケーリング指数がどのように形成されているかが示されているが、ネットワークの深さがトレーニング時間のスケーリングを改善するかどうかはまだ定かではない。 深層線形ネットワークの精巧な解析により,ネットワーク深度を増大させるとトレーニング時間スケーリングが向上すると,タスクスペクトルが決定されることが明らかになった。 スペクトル的に困難なタスクでは、深度の増加は漸近的なトレーニング時間スケーリング指数を改善するが、簡単なタスクでは、指数は深さとは独立であり、これらの状態の境界における対数補正にのみ影響する。 注目すべきことに、予測基準によって支配される時間の再パラメータ化は、タスクの難易度をまたいだダイナミクスの統一的な記述を提供する。 このパラメータ化の下では、損失は指数が深さに依存しない共通のスケーリング法則に従う。 ベンチマーク画像データと非線形ネットワークから導かれるタスクに関する数値実験は、トレーニング時間スケーリングに対する深さの質的に一貫したタスク依存効果を示す。 我々の研究結果は,タスク構造がネットワークアーキテクチャの学習に与える影響を理論的に理解し,ニューラルネットワークの幅広いクラスにまたがるスケーリング行動の研究の基盤を提供する。

関連論文リスト

• On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
  我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
  論文  参考訳（メタデータ） (2026-03-26T17:37:25Z)
• Statistical physics of deep learning: Optimal learning of a multi-layer perceptron near interpolation [7.079039376205091]
  多層パーセプトロンの教師あり学習について検討する。 トレーニング可能なパラメータとデータの数が同等となる、困難な状況に注目します。 その単純さにもかかわらず、ベイズ最適設定は、深さ、非線形性、および有限幅がニューラルネットワークにどのように影響するかについての洞察を与える。
  論文  参考訳（メタデータ） (2025-10-28T16:44:34Z)
• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  本稿では,DeepONetのトレーニングに採用するランダムサンプリング手法を提案する。 従来のトレーニングアプローチと比較して、テスト全体のエラーを同等あるいは低いものにしながら、トレーニング時間の大幅な削減を実証する。 この結果から,訓練中のトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性とロバスト性を高めることが示唆された。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Entropy-based Guidance of Deep Neural Networks for Accelerated Convergence and Improved Performance [0.8749675983608172]
  完全に接続された畳み込みニューラルネットワークの処理データとしてエントロピーの変化を測定するために、新しい数学的結果を得る。 ネットワーク処理データとしてのエントロピーの変化を効果的に測定することにより、良好なネットワークに不可欠なパターンを視覚化し、同定することができる。 ベンチマークデータセットにおける画像圧縮、画像分類、イメージセグメンテーションの実験は、これらの損失がニューラルネットワークを誘導し、少ない次元でリッチな潜在データ表現を学習することを示した。
  論文  参考訳（メタデータ） (2023-08-28T23:33:07Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。