論文の概要: On Neural Scaling Laws for Weather Emulation through Continual Training

• arxiv url: http://arxiv.org/abs/2603.25687v1
• Date: Thu, 26 Mar 2026 17:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.404537
• Title: On Neural Scaling Laws for Weather Emulation through Continual Training
• Title（参考訳）: 連続訓練による気象エミュレーションのためのニューラルスケーリング法則について
• Authors: Shashank Subramanian, Alexander Kiefer, Arnur Nigmetov, Amir Gholami, Dmitriy Morozov, Michael W. Mahoney,
• Abstract要約: 我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
• 参考スコア（独自算出の注目度）: 76.70310203875866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural scaling laws, which in some domains can predict the performance of large neural networks as a function of model, data, and compute scale, are the cornerstone of building foundation models in Natural Language Processing and Computer Vision. We study neural scaling in Scientific Machine Learning, focusing on models for weather forecasting. To analyze scaling behavior in as simple a setting as possible, we adopt a minimal, scalable, general-purpose Swin Transformer architecture, and we use continual training with constant learning rates and periodic cooldowns as an efficient training strategy. We show that models trained in this minimalist way follow predictable scaling trends and even outperform standard cosine learning rate schedules. Cooldown phases can be re-purposed to improve downstream performance, e.g., enabling accurate multi-step rollouts over longer forecast horizons as well as sharper predictions through spectral loss adjustments. We also systematically explore a wide range of model and dataset sizes under various compute budgets to construct IsoFLOP curves, and we identify compute-optimal training regimes. Extrapolating these trends to larger scales highlights potential performance limits, demonstrating that neural scaling can serve as an important diagnostic for efficient resource allocation. We open-source our code for reproducibility.
• Abstract（参考訳）: 一部の領域では、モデル、データ、計算スケールの関数として、大きなニューラルネットワークのパフォーマンスを予測できるニューラルネットワーク法則が、自然言語処理とコンピュータビジョンの基盤モデル構築の基礎となっている。 我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用し,定常学習率と定期冷却による連続的なトレーニングを,効率的なトレーニング戦略として活用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。 冷却フェーズは、例えば、より長い予測地平線上での正確なマルチステップロールアウトを可能にするとともに、スペクトル損失調整によるよりシャープな予測を可能にするために、下流性能を改善するために再利用可能である。 また、IsoFLOP曲線を構築するために、様々な計算予算の下で広範囲のモデルとデータセットのサイズを体系的に探索し、計算最適トレーニング体制を同定する。 これらのトレンドを大規模に外挿することで、潜在的なパフォーマンス限界が強調され、ニューラルネットワークスケーリングが効率的なリソース割り当てのための重要な診断として役立つことが示される。 再現性のためのコードをオープンソースにしています。

関連論文リスト

• Enhancing material behavior discovery using embedding-oriented Physically-Guided Neural Networks with Internal Variables [0.0]
  内部変数を持つ物理的ガイド付きニューラルネットワークは、トレーニングや内部状態関係の解明に可観測データのみを使用するSciMLツールである。 それらの可能性にもかかわらず、これらのモデルは、細粒度空間場や時間進化システムのような高次元データに適用する場合、スケーラビリティの課題に直面している。 本稿では,これらのスケーラビリティの限界に対処するPGNNIVフレームワークの改良について,低次モデリング手法を用いて提案する。
  論文  参考訳（メタデータ） (2025-08-01T12:33:21Z)
• How Feature Learning Can Improve Neural Scaling Laws [79.59705237659547]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。