論文の概要: Scaling Laws of Global Weather Models

• arxiv url: http://arxiv.org/abs/2602.22962v1
• Date: Thu, 26 Feb 2026 12:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.69206
• Title: Scaling Laws of Global Weather Models
• Title（参考訳）: 地球気象モデルのスケーリング法則
• Authors: Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler,
• Abstract要約: 本稿では,モデル性能(検証損失)とモデルサイズ,データセットサイズ,計算予算の3つの主要な要因について検討する。 様々なモデルにおいて、Auroraは最も強力なデータスケーリングの挙動を示す。 我々の計算-最適分析は、固定された計算予算の下で、長いトレーニング期間にリソースを割り当てると、モデルサイズの増加よりもパフォーマンスが向上することを示している。
• 参考スコア（独自算出の注目度）: 57.27583619011988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-driven models are revolutionizing weather forecasting. To optimize training efficiency and model performance, this paper analyzes empirical scaling laws within this domain. We investigate the relationship between model performance (validation loss) and three key factors: model size ($N$), dataset size ($D$), and compute budget ($C$). Across a range of models, we find that Aurora exhibits the strongest data-scaling behavior: increasing the training dataset by 10x reduces validation loss by up to 3.2x. GraphCast demonstrates the highest parameter efficiency, yet suffers from limited hardware utilization. Our compute-optimal analysis indicates that, under fixed compute budgets, allocating resources to longer training durations yields greater performance gains than increasing model size. Furthermore, we analyze model shape and uncover scaling behaviors that differ fundamentally from those observed in language models: weather forecasting models consistently favor increased width over depth. These findings suggest that future weather models should prioritize wider architectures and larger effective training datasets to maximize predictive performance.
• Abstract（参考訳）: データ駆動モデルは天気予報に革命をもたらしている。 学習効率とモデル性能を最適化するために,本領域における経験的スケーリング法則を解析する。 モデル性能(バリデーション損失)とモデルサイズ(N$)、データセットサイズ(D$)、計算予算(C$)の関係について検討する。 トレーニングデータセットを10倍に増やすことで、検証損失を最大3.2倍削減する。 GraphCastはパラメータ効率が最も高いが、ハードウェア利用の制限に悩まされている。 我々の計算-最適分析は、固定された計算予算の下で、長いトレーニング期間にリソースを割り当てると、モデルサイズの増加よりもパフォーマンスが向上することを示している。 さらに,言語モデルと根本的に異なるモデル形状とスケーリング行動を明らかにする。 これらの結果は、将来の気象モデルが予測性能を最大化するために、より広いアーキテクチャとより大きな効果的なトレーニングデータセットを優先すべきであることを示唆している。

関連論文リスト

• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• Scaling Laws of Motion Forecasting and Planning - Technical Report [21.486301157587132]
  本研究では,エンコーダ・デコーダ・オートレグレッシブ・トランスモデルの実証スケーリング法則について検討する。 モデルトレーニング損失とモデル評価指標との間には,強い相関関係がみられた。 我々は,エゴエージェントの性能向上のために,他のエージェントの一般的なログ化された運転データに対するトレーニングの有用性を短時間で検討した。
  論文  参考訳（メタデータ） (2025-06-09T20:54:23Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。