論文の概要: TERRA: A Hierarchical Parallel Training and Memory Orchestration Framework for High-Resolution AI-based Earth Modeling
- arxiv url: http://arxiv.org/abs/2608.15211v1
- Date: Sat, 15 Aug 2026 12:52:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.222021
- Title: TERRA: A Hierarchical Parallel Training and Memory Orchestration Framework for High-Resolution AI-based Earth Modeling
- Title（参考訳）: TERRA:高分解能AIに基づく地球モデリングのための階層的並列トレーニングとメモリオーケストレーションフレームワーク
- Abstract要約: 高解像度AIベースのアース予測モデルのトレーニングはメモリ集約的だ。
我々は,高分解能地球予測のための階層的並列トレーニングフレームワークであるTERRAを提案する。
- 参考スコア（独自算出の注目度）: 9.997208121319169
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training high-resolution AI-based Earth forecasting models is memory-intensive. Window-based Swin Transformers reduce the quadratic cost of global attention, but existing distributed systems such as AERIS primarily target pixel-level models and do not jointly support convolutional sampling modules and shifted-window execution. Long-lead rollout finetuning further increases activation memory. To address these challenges, we present TERRA, a hierarchical parallel training framework for high-resolution Earth forecasting. TERRA introduces Sampling-Aware Window, Sequence, and Tensor Parallelism (SAWSTP), which preserves spatially contiguous layouts for sampling modules and routes tokens into topology-aware ragged window layouts for Transformer execution. For long-lead finetuning, Memory Orchestration (MO) provides rollout-aware checkpoint planning and combines input buffering with budget-constrained activation offloading. Experiments on the $1/12^\circ$ GLORYS-based Wenhai workload show that TERRA supports models with up to 11.4B parameters on 96 H200 GPUs and sustains up to $39.76$ PFLOPS, achieving $65.0\%$ strong-scaling and $94.1\%$ weak-scaling efficiency. Compared with checkpoint-only policies, MO further reduces peak allocated GPU memory by $32.2\%$--$51.8\%$ with at most $20.0\%$ step-time overhead, which makes finetuning with smaller patch sizes and longer rollouts feasible for improved forecasting accuracy.
- Abstract（参考訳）: 高解像度AIベースのアース予測モデルのトレーニングはメモリ集約的だ。
ウィンドウベースのSwin変換器は、グローバルな注意の二次的コストを削減するが、AERISのような既存の分散システムは主にピクセルレベルのモデルをターゲットにしており、畳み込みサンプリングモジュールとシフトウインドウ実行を共同でサポートしていない。
ロングリードロールアウトファインタニングはさらにアクティベーションメモリを増加させる。
これらの課題に対処するため,高分解能地球予測のための階層的並列トレーニングフレームワークであるTERRAを提案する。
TERRAはSamping-Aware Window, Sequence, Tensor Parallelism (SAWSTP)を導入し、モジュールをサンプリングするための空間的に連続したレイアウトとトークンを、Transformerの実行用にトポロジ対応のラッグウィンドウレイアウトにルーティングする。
長期にわたる微調整のために、メモリオーケストレーション(MO)はロールアウト対応のチェックポイント計画を提供し、入力バッファリングと予算制約のアクティベーションオフロードを組み合わせる。
1/12^\circ$ GLORYSベースのWenhaiワークロードの実験によると、TERRAは96 H200 GPU上で最大11.4Bのパラメータを持つモデルをサポートし、39.76$ PFLOPSまで持続し、65.0\%$強いスケーリングと94.1\%$弱いスケーリング効率を達成した。
チェックポイントのみのポリシーと比較して、MOは最大割り当てられたGPUメモリを32.2\%$--51.8\%$に減らし、最低でも20.0\%$ステップタイムオーバーヘッドを減らした。
関連論文リスト
- Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware [5.066906328188419]
トランスフォーマーベースの大規模言語モデル(LLM)による推論は、メモリバウンドなKVキャッシュと二次的注意コストによって制限されることが多い。
本稿では,性能損失を最小限に抑えた重量子化線形アテンションモデルにおいて,スパースニューラルアクティビティを誘導する手法を提案する。
論文 参考訳（メタデータ） (2026-08-31T08:28:01Z) - Fine-Tuning of Transformer models with Frames [47.891438890695014]
本稿では,Fusion Frame を用いた事前学習モデルの微調整手法を提案する。
FrameFT は最先端のPEFT 技術と同等の性能を発揮することを示す。
実験の結果、FrameFTは最先端のPEFT技術と同等の性能を発揮するが、訓練可能なパラメータははるかに少ないことがわかった。
論文 参考訳（メタデータ） (2026-08-26T22:13:45Z) - Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks [3.5732010112106507]
長期的なツール使用エージェントは、ユーザ目標、ドメインポリシー、ツールコール、シミュレータ状態、検証の遅れといった理由を考慮しなければなりません。
本稿では,マルチコントロールツール利用環境におけるRLのモジュール型トレーニングシステムであるSINKFLEX-RLを提案する。
論文 参考訳（メタデータ） (2026-08-11T01:30:56Z) - AESOP: Adversarial Execution-path Selection to Overload Deep Learning Pipelines [6.773252452930085]
現代の機械学習のデプロイメントは、動的推論パイプラインに特別なモデルを組み込むようになってきている。
この構造は, 単一モデルを対象とした既存手法では利用できない, 効率攻撃面を生成する。
脆弱性誘導経路ランキングと適応的損失重み付けを組み合わせたフレームワークであるAESOPを提案する。
論文 参考訳（メタデータ） (2026-05-09T09:16:49Z) - DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。
メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。
EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文 参考訳（メタデータ） (2026-04-13T03:19:36Z) - One-for-All: A Lightweight Stabilized and Parameter-Efficient Pre-trained LLM for Time Series Forecasting [4.364999214109123]
One-for-Allは、時系列分析のためにトレーニング済みの大規模言語モデルを適用するためのフレームワークである。
rsLoRAは、低いランクでの証明可能な勾配安定性を可能にする数学的に基底的なランク安定化機構を導入している。
One-for-Allは最先端の効率と精度のトレードオフを達成する。
論文 参考訳（メタデータ） (2026-03-31T13:54:43Z) - SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation [3.1313965020437546]
SIMPLERは,予測とデプロイメントのコストを削減できるアーキテクチャ選択手法である。
Prithvi-EO-2では、SIMPLERは最大79%のパラメータを持ち、ベースライン性能は94%であり、2.1倍のトレーニングスピードアップと2.6倍の推論スピードアップをもたらす。
論文 参考訳（メタデータ） (2026-03-20T11:38:32Z) - PFGNet: A Fully Convolutional Frequency-Guided Peripheral Gating Network for Efficient Spatiotemporal Predictive Learning [27.26429269735324]
PFGNetは、ピクセルワイドの周波数誘導ゲーティングによって受容場を動的に変調する完全な畳み込みフレームワークである。
PFGNetは、パラメータとFLOPが大幅に少ないSOTAまたは近SOTA予測性能を提供する。
論文 参考訳（メタデータ） (2026-02-24T04:31:12Z) - ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。
そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。
また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
論文 参考訳（メタデータ） (2026-02-05T05:45:16Z) - Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。
MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。
提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2025-03-27T00:59:14Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM
Inference [68.59839755875252]
HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。
我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
論文 参考訳（メタデータ） (2024-02-14T18:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。