論文の概要: Finetuning a Weather Foundation Model with Lightweight Decoders for Unseen Physical Processes

• arxiv url: http://arxiv.org/abs/2506.19088v1
• Date: Mon, 23 Jun 2025 20:03:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.370955
• Title: Finetuning a Weather Foundation Model with Lightweight Decoders for Unseen Physical Processes
• Title（参考訳）: 軽量デコーダを用いた気象基礎モデルによる未確認物理プロセスの微視化
• Authors: Fanny Lehmann, Firat Ozdemir, Benedikt Soja, Torsten Hoefler, Siddhartha Mishra, Sebastian Schemm,
• Abstract要約: 本研究では,水文学変数の予測における最先端のオーロラ基礎モデルの性能評価を行った。 我々は、これらの新しい変数を予測するために、事前訓練されたモデルの潜在表現に基づいて訓練された浅層デコーダを用いた軽量なアプローチを導入する。
• 参考スコア（独自算出の注目度）: 25.060915780441086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in AI weather forecasting have led to the emergence of so-called "foundation models", typically defined by expensive pretraining and minimal fine-tuning for downstream tasks. However, in the natural sciences, a desirable foundation model should also encode meaningful statistical relationships between the underlying physical variables. This study evaluates the performance of the state-of-the-art Aurora foundation model in predicting hydrological variables, which were not considered during pretraining. We introduce a lightweight approach using shallow decoders trained on the latent representations of the pretrained model to predict these new variables. As a baseline, we compare this to fine-tuning the full model, which allows further optimization of the latent space while incorporating new variables into both inputs and outputs. The decoder-based approach requires 50% less training time and 35% less memory, while achieving strong accuracy across various hydrological variables and preserving desirable properties of the foundation model, such as autoregressive stability. Notably, decoder accuracy depends on the physical correlation between the new variables and those used during pretraining, indicating that Aurora's latent space captures meaningful physical relationships. In this sense, we argue that an important quality metric for foundation models in Earth sciences is their ability to be extended to new variables without a full fine-tuning. This provides a new perspective for making foundation models more accessible to communities with limited computational resources, while supporting broader adoption in Earth sciences.
• Abstract（参考訳）: AI天気予報の最近の進歩は、一般的に高価な事前訓練と下流タスクの最小限の微調整によって定義されるいわゆる「基礎モデル」の出現につながっている。 しかし、自然科学において、望ましい基礎モデルは、基礎となる物理変数間の有意義な統計的関係を符号化するべきである。 本研究では,プレトレーニング中に考慮されなかった水文学変数の予測において,最先端のオーロラ基礎モデルの性能を評価する。 我々は、これらの新しい変数を予測するために、事前訓練されたモデルの潜在表現に基づいて訓練された浅層デコーダを用いた軽量なアプローチを導入する。 ベースラインとして、入力と出力の両方に新しい変数を取り入れながら、潜在空間のさらなる最適化を可能にするフルモデルを微調整するのと比較する。 デコーダベースのアプローチでは、トレーニング時間を50%削減し、メモリを35%削減すると同時に、様々な水文変数に対して高い精度を実現し、自己回帰安定性などの基礎モデルの望ましい特性を保っている。 特にデコーダの精度は、新しい変数と事前訓練で使用される変数の物理的相関に依存しており、オーロラの潜伏空間が意味のある物理的関係を捉えていることを示している。 この意味で、地球科学の基礎モデルにとって重要な品質基準は、完全な微調整なしで新しい変数に拡張できる能力であると主張している。 これは、基礎モデルを限られた計算資源を持つコミュニティによりアクセスしやすくするための新しい視点を提供すると同時に、地球科学における広範な採用をサポートする。

関連論文リスト

• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Towards Physically Consistent Deep Learning For Climate Model Parameterizations [46.07009109585047]
  パラメータ化は、気候予測において、系統的なエラーと大きな不確実性の主な原因である。 深層学習(DL)に基づくパラメータ化は、計算に高価で高解像度のショートシミュレーションのデータに基づいて訓練されており、気候モデルを改善するための大きな可能性を示している。 本稿では,DLに基づくパラメータ化のための効率的な教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:02:49Z)
• Streamflow Prediction with Uncertainty Quantification for Water Management: A Constrained Reasoning and Learning Approach [27.984958596544278]
  本稿では、論理的制約として表される物理法則を、ディープニューラルネットワークの層として統合する制約付き推論と学習(CRL)アプローチについて検討する。 そこで本研究では,深層モデルの一般化精度を向上させるため,理論的に基礎的なトレーニング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-31T18:53:53Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
  軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。 ニューラル微分方程式モデルに基づく新しい手法を提案する。 我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-07-21T12:11:18Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。