論文の概要: AERIS: Argonne Earth Systems Model for Reliable and Skillful Predictions
- arxiv url: http://arxiv.org/abs/2509.13523v1
- Date: Tue, 16 Sep 2025 20:38:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-18 18:41:50.646659
- Title: AERIS: Argonne Earth Systems Model for Reliable and Skillful Predictions
- Title(参考訳): AERIS:Argonne Earth Systems Model for Reliable and Skillful Predictions
- Authors: Väinö Hatanpää, Eugene Ku, Jason Stock, Murali Emani, Sam Foreman, Chunyong Jung, Sandeep Madireddy, Tung Nguyen, Varuni Sastry, Ray A. O. Sinurat, Sam Wheeler, Huihuo Zheng, Troy Arcomano, Venkatram Vishwanath, Rao Kotamarthi,
- Abstract要約: 我々はこのギャップに対処するために1.3から80BパラメータのSwin拡散変換器であるAERISを導入する。
また、SWiPeは、シークエンスとパイプライン並列性でウィンドウ並列性を構成する一般化可能な手法であり、シャードなウィンドウベース変換器である。
オーロラ(10,080ノード)では、AERISは10.21 ExaFLOPS(混合精度)を保ち、最高性能は11.21 ExaFLOPSで、パッチサイズは1倍である。
- 参考スコア(独自算出の注目度): 6.619070182924685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative machine learning offers new opportunities to better understand complex Earth system dynamics. Recent diffusion-based methods address spectral biases and improve ensemble calibration in weather forecasting compared to deterministic methods, yet have so far proven difficult to scale stably at high resolutions. We introduce AERIS, a 1.3 to 80B parameter pixel-level Swin diffusion transformer to address this gap, and SWiPe, a generalizable technique that composes window parallelism with sequence and pipeline parallelism to shard window-based transformers without added communication cost or increased global batch size. On Aurora (10,080 nodes), AERIS sustains 10.21 ExaFLOPS (mixed precision) and a peak performance of 11.21 ExaFLOPS with $1 \times 1$ patch size on the 0.25{\deg} ERA5 dataset, achieving 95.5% weak scaling efficiency, and 81.6% strong scaling efficiency. AERIS outperforms the IFS ENS and remains stable on seasonal scales to 90 days, highlighting the potential of billion-parameter diffusion models for weather and climate prediction.
- Abstract(参考訳): 生成機械学習は、複雑な地球系の力学をよりよく理解する新しい機会を提供する。
近年の拡散法は, 気象予報におけるスペクトルバイアスに対処し, アンサンブル校正を決定論的手法と比較して改善しているが, 高分解能で安定にスケールすることが困難であることが証明されている。
このギャップに対処するための1.3から80BパラメータのSwin拡散変換器であるAERISと、通信コストやグローバルバッチサイズの増加を伴わないシャードウィンドウベースの変換器に対して、シーケンスとパイプライン並列性を備えたウィンドウ並列性を構成する一般化可能な技術であるSWiPeを紹介する。
オーロラ(10,080ノード)では、AERISは10.21 ExaFLOPS(混合精度)、ピーク性能は11.21 ExaFLOPSで、0.25{\deg} ERA5データセットのパッチサイズは1ドル1$で、95.5%の弱いスケーリング効率と81.6%のスケーリング効率を実現している。
AERISはIFS ENSよりも優れており、季節スケールで安定して90日間であり、気象予報や気象予報のための10億パラメータ拡散モデルの可能性を強調している。
関連論文リスト
- Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。
動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。
これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
論文 参考訳(メタデータ) (2025-07-14T16:19:00Z) - PiT: Progressive Diffusion Transformer [50.46345527963736]
拡散変換器(DiT)は変換器アーキテクチャを用いて画像生成において顕著な性能を発揮する。
DiTは以前信じられていたようなグローバルな情報に大きく依存していない。
Pseudo Progressive Diffusion Transformer (PiT)を提案する。
論文 参考訳(メタデータ) (2025-05-19T15:02:33Z) - ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability [10.88886669820126]
我々はOak Ridge Base Foundation Model for Earth System Predictability (ORBIT)を紹介する。
ORBITは、その種の最大のモデルであり、現在の気候AIファンデーションモデルサイズを1000倍に超えている。
Frontierスーパーコンピュータの性能スケーリングテストでは、ORBITは684ペタFLOPSから1.6ペタFLOPSの持続スループットを達成した。
論文 参考訳(メタデータ) (2024-04-23T03:39:57Z) - Residual Corrective Diffusion Modeling for Km-scale Atmospheric Downscaling [58.456404022536425]
気象・気候からの物理的危険予知技術の現状には、粗い解像度のグローバルな入力によって駆動される高価なkmスケールの数値シミュレーションが必要である。
ここでは、コスト効率のよい機械学習代替手段として、このようなグローバルな入力をkmスケールにダウンスケールするために、生成拡散アーキテクチャを探索する。
このモデルは、台湾上空の地域気象モデルから2kmのデータを予測するために訓練され、世界25kmの再解析に基づいている。
論文 参考訳(メタデータ) (2023-09-24T19:57:22Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳(メタデータ) (2022-10-17T08:14:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。