論文の概要: 4D Parallelism Unlocks Exascale Bayesian Neural Networks for High-Fidelity Atmospheric Modeling

• arxiv url: http://arxiv.org/abs/2609.12815v1
• Date: Fri, 11 Sep 2026 13:08:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.753654
• Title: 4D Parallelism Unlocks Exascale Bayesian Neural Networks for High-Fidelity Atmospheric Modeling
• Title（参考訳）: 4D並列処理による高忠実度大気モデルのためのエクサスケールベイズニューラルネットワークの解錠
• Abstract要約: 我々は,地球規模で0.25ドル周の大気予報を行う最初のベイズスイム変圧器BEASTを提示する。 BEASTを700万パラメータモデルとして数値的にトレーニングし、384ノードの96個のランダムな重量サンプルを40年間のデータ上に配置し、100万近い勾配更新を行う。 このモデルは、最先端の大気AIモデルや数値モデルと競合する予測スキルスコアを達成し、例外的なスキルで極端な事象を予測することができる。
• 参考スコア（独自算出の注目度）: 1.0277586860424235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present BEAST, the first-ever Bayesian Swin Transformer for atmospheric forecasting on 0.25$^\circ$ global resolution able to accurately quantify both aleatoric and epistemic uncertainty. To overcome the associated computational bottlenecks, we devise an orthogonal 4D-parallelization scheme that introduces a unique domain-tensor-parallelism strategy and a novel uncertainty parallel method, enabling us to fully leverage GPU capacity and efficiently scale model training. For a 2.4-billion-parameter model, we achieve a peak performance of 3.96 EFLOP/s on 20,480 NVIDIA GH200 GPUs on the JUPITER supercomputer. We train BEAST as a 700-million-parameter model with 96 random weight samples on 384 nodes on 40 years of data for nearly one million gradient updates. This model achieves predictive skill scores competitive with state-of-the-art probabilistic atmospheric AI models and numerical models, and can predict extreme events with exceptional skill, while generating large ensembles 3 to 4 times faster than the current-best AI model. Our contribution unlocks the potential of high-fidelity uncertainty quantification in atmospheric AI models, heralding a new era for AI-based models in climate and Earth system sciences.
• Abstract（参考訳）: 我々は,大域分解能0.25$^\circ$で大気予報を行う最初のベイズスイム変圧器BEASTについて述べる。 計算ボトルネックを克服するため,独自のドメイン・テンソル・並列化戦略と新たな不確実性並列手法を導入し,GPUのキャパシティを完全に活用し,モデルトレーニングを効率的にスケールする直交4D並列化方式を考案した。 2.4ビリオンパラメータモデルでは、JUPITERスーパーコンピュータ上の20,480 NVIDIA GH200 GPU上で3.96 EFLOP/sのピーク性能を達成する。 BEASTを700万パラメータモデルとしてトレーニングし、384ノードに96のランダムな重量サンプルを40年間のデータ上に配置し、100万近い勾配更新を行う。 このモデルは、最先端の確率的大気AIモデルや数値モデルと競合する予測的スキルスコアを達成し、異常なスキルで極端なイベントを予測できると同時に、現在の最高のAIモデルよりも3倍から4倍の速さで大規模なアンサンブルを生成する。 我々の貢献は、大気中のAIモデルにおける高忠実性不確実性定量化の可能性を解き明かし、気候と地球系の科学におけるAIモデルの新しい時代を告げる。

関連論文リスト

• Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation [89.51408170909548]
  トレーニングループを規定する新しいパラダイムであるExplorative Modelingを導入し、モデル世代とデータ間のK候補マッチングを探索し、最高のトレーニングを行う。 まず、探索の増加は、既存の生成モデルのためのパラメータとデータを超えた第3の事前学習軸を追加する。 第2に、XMは16-256倍の推論ステップで制御タスク上の拡散と一致する、エンドツーエンドの再構成生成モデリングを可能にする。
  論文  参考訳（メタデータ） (2026-07-29T18:25:17Z)
• Perforated Neural Networks for Keyword Spotting [0.0]
  本稿では,Edge Impulseプラットフォーム上でのキーワードスポッティングに対するPerforated Backpropagationの適用について述べる。 デンドライトモデルは、パラメータカウントのあらゆるレベルにおいて、従来のアーキテクチャよりも優れていることを実証する。 最良の樹状モデルでは、わずか1,500のパラメータで0.933の試験精度を達成し、0.921の基準精度はおよそ4,000のパラメータを必要とする。
  論文  参考訳（メタデータ） (2026-05-15T06:02:19Z)
• Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
  本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。 提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。 この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
  論文  参考訳（メタデータ） (2025-11-21T08:12:47Z)
• FourCastNet 3: A geometric approach to probabilistic machine-learning weather forecasting at scale [91.84761739154366]
  FourCastNet 3は、確率的アンサンブル予測にスケーラブルで幾何学的な機械学習(ML)アプローチを実装することで、グローバルな気象モデリングを推進している。 FourCastNet 3は、従来のアンサンブルモデルを上回る予測精度を提供し、最良の拡散ベースのメソッドに匹敵する。 その計算効率、中距離確率的スキル、スペクトルの忠実度、およびサブシーズンタイムスケールでのロールアウト安定性は、大規模なアンサンブル予測を通じて気象予知と早期警報システムを改善するための強力な候補となる。
  論文  参考訳（メタデータ） (2025-07-16T11:22:18Z)
• Jigsaw: Training Multi-Billion-Parameter AI Weather Models with Optimized Model Parallelism [0.08388591755871733]
  複雑な大気力学の正確なモデリングには、大きなニューラルネットワークとギガバイトサイズのデータサンプルが必要である。 入力サイズに応じてワークロードを線形にスケールするマルチ層パーセプトロンアーキテクチャであるWeatherMixerを紹介する。 計算要求に対応するために,新しいモデル並列化方式であるJigsawを提案する。
  論文  参考訳（メタデータ） (2025-07-08T07:57:08Z)
• ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability [10.88886669820126]
  我々はOak Ridge Base Foundation Model for Earth System Predictability (ORBIT)を紹介する。 ORBITは、その種の最大のモデルであり、現在の気候AIファンデーションモデルサイズを1000倍に超えている。 Frontierスーパーコンピュータの性能スケーリングテストでは、ORBITは684ペタFLOPSから1.6ペタFLOPSの持続スループットを達成した。
  論文  参考訳（メタデータ） (2024-04-23T03:39:57Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models [0.0]
  機械学習シュロゲートモデルは、遅くて高忠実なエンジニアリングシミュレーションモデルをエミュレートするために訓練される。 ベイズパラダイムに従う深層学習モデルが存在する。 その結果, 高い不確実性を有する試料の10%を高忠実度モデルに転送した場合, 誤差を最大30%低減できることがわかった。
  論文  参考訳（メタデータ） (2020-10-05T15:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。