論文の概要: On Neural Scaling Laws for Weather Emulation through Continual Training

• arxiv url: http://arxiv.org/abs/2603.25687v1
• Date: Thu, 26 Mar 2026 17:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.404537
• Title: On Neural Scaling Laws for Weather Emulation through Continual Training
• Title（参考訳）: 連続訓練による気象エミュレーションのためのニューラルスケーリング法則について
• Abstract要約: 我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
• 参考スコア（独自算出の注目度）: 76.70310203875866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural scaling laws, which in some domains can predict the performance of large neural networks as a function of model, data, and compute scale, are the cornerstone of building foundation models in Natural Language Processing and Computer Vision. We study neural scaling in Scientific Machine Learning, focusing on models for weather forecasting. To analyze scaling behavior in as simple a setting as possible, we adopt a minimal, scalable, general-purpose Swin Transformer architecture, and we use continual training with constant learning rates and periodic cooldowns as an efficient training strategy. We show that models trained in this minimalist way follow predictable scaling trends and even outperform standard cosine learning rate schedules. Cooldown phases can be re-purposed to improve downstream performance, e.g., enabling accurate multi-step rollouts over longer forecast horizons as well as sharper predictions through spectral loss adjustments. We also systematically explore a wide range of model and dataset sizes under various compute budgets to construct IsoFLOP curves, and we identify compute-optimal training regimes. Extrapolating these trends to larger scales highlights potential performance limits, demonstrating that neural scaling can serve as an important diagnostic for efficient resource allocation. We open-source our code for reproducibility.
• Abstract（参考訳）: 一部の領域では、モデル、データ、計算スケールの関数として、大きなニューラルネットワークのパフォーマンスを予測できるニューラルネットワーク法則が、自然言語処理とコンピュータビジョンの基盤モデル構築の基礎となっている。 我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用し,定常学習率と定期冷却による連続的なトレーニングを,効率的なトレーニング戦略として活用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。 冷却フェーズは、例えば、より長い予測地平線上での正確なマルチステップロールアウトを可能にするとともに、スペクトル損失調整によるよりシャープな予測を可能にするために、下流性能を改善するために再利用可能である。 また、IsoFLOP曲線を構築するために、様々な計算予算の下で広範囲のモデルとデータセットのサイズを体系的に探索し、計算最適トレーニング体制を同定する。 これらのトレンドを大規模に外挿することで、潜在的なパフォーマンス限界が強調され、ニューラルネットワークスケーリングが効率的なリソース割り当てのための重要な診断として役立つことが示される。 再現性のためのコードをオープンソースにしています。

関連論文リスト

• On the Practice of Scaling Search Conversion Rate Prediction [45.350775275846125]
  検索変換率(CVR)予測モデルのスケーリングは,特に高交通環境において課題となる。 本稿では,最新の検索CVR予測モデルを拡張するための効果的なアプローチについて述べる。
  論文  参考訳（メタデータ） (2026-05-28T01:48:19Z)
• The Art of Scaling Reinforcement Learning Compute for LLMs [52.71086085139566]
  強化学習(RL)は、大規模言語モデルの訓練の中心となっている。 計算予算の急激な増加にもかかわらず、RL計算のスケーリングにおけるアルゴリズム改善の評価方法に関する原則的な理解は存在しない。 我々は,約40万時間以上のGPU時間を有する,最初の大規模体系的な研究を提示する。
  論文  参考訳（メタデータ） (2025-10-15T17:43:03Z)
• Enhancing material behavior discovery using embedding-oriented Physically-Guided Neural Networks with Internal Variables [0.0]
  内部変数を持つ物理的ガイド付きニューラルネットワークは、トレーニングや内部状態関係の解明に可観測データのみを使用するSciMLツールである。 それらの可能性にもかかわらず、これらのモデルは、細粒度空間場や時間進化システムのような高次元データに適用する場合、スケーラビリティの課題に直面している。 本稿では,これらのスケーラビリティの限界に対処するPGNNIVフレームワークの改良について,低次モデリング手法を用いて提案する。
  論文  参考訳（メタデータ） (2025-08-01T12:33:21Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• How Feature Learning Can Improve Neural Scaling Laws [79.59705237659547]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Interpretable AI-based Large-scale 3D Pathloss Prediction Model for enabling Emerging Self-Driving Networks [3.710841042000923]
  本稿では,新しい鍵予測器を応用した機械学習モデルを提案する。 予測,一般化,計算性能の観点から各種MLアルゴリズムの性能を定量的に評価することにより,光グラディエントブースティングマシン(LightGBM)アルゴリズムが全体として他のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-30T19:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。