論文の概要: Learning to forecast diagnostic parameters using pre-trained weather
embedding
- arxiv url: http://arxiv.org/abs/2312.00290v1
- Date: Fri, 1 Dec 2023 02:09:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:05:38.475000
- Title: Learning to forecast diagnostic parameters using pre-trained weather
embedding
- Title（参考訳）: 事前学習型気象埋め込みによる診断パラメータの予測
- Authors: Peetak P. Mitra, Vivek Ramavajjala
- Abstract要約: 本稿では,新しい診断変数を高価なリトレーニングなしでエンドツーエンドのDDWPモデルに追加するための2段階のアプローチを提案する。
最初の段階では、予測変数を潜在空間に埋め込むことを学ぶオートエンコーダを訓練する。
第2段階では、オートエンコーダは凍結され、"ダウンストリーム"モデルは、予測変数の潜在表現のみを入力として、診断変数を予測するために訓練される。
- 参考スコア（独自算出の注目度）: 0.14504054468850663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven weather prediction (DDWP) models are increasingly becoming
popular for weather forecasting. However, while operational weather forecasts
predict a wide variety of weather variables, DDWPs currently forecast a
specific set of key prognostic variables. Non-prognostic ("diagnostic")
variables are sometimes modeled separately as dependent variables of the
prognostic variables (c.f. FourCastNet), or by including the diagnostic
variable as a target in the DDWP. However, the cost of training and deploying
bespoke models for each diagnostic variable can increase dramatically with more
diagnostic variables, and limit the operational use of such models. Likewise,
retraining an entire DDWP each time a new diagnostic variable is added is also
cost-prohibitive. We present an two-stage approach that allows new diagnostic
variables to be added to an end-to-end DDWP model without the expensive
retraining. In the first stage, we train an autoencoder that learns to embed
prognostic variables into a latent space. In the second stage, the autoencoder
is frozen and "downstream" models are trained to predict diagnostic variables
using only the latent representations of prognostic variables as input. Our
experiments indicate that models trained using the two-stage approach offer
accuracy comparable to training bespoke models, while leading to significant
reduction in resource utilization during training and inference. This approach
allows for new "downstream" models to be developed as needed, without affecting
existing models and thus reducing the friction in operationalizing new models.
- Abstract（参考訳）: データ駆動型気象予報(ddwp)モデルは、気象予報に人気が高まっている。
しかしながら、運用天気予報は様々な気象変数を予測する一方で、DDWPは現在、重要な予測変数の特定のセットを予測している。
非予後変数 (non-prognostic ("diagnostic") variables) は、予測変数 (fourCastNet) の依存変数として別々にモデル化されるか、DDWPのターゲットとして診断変数を含める。
しかし、各診断変数に対するトレーニングとデプロイのコストは、より多くの診断変数で劇的に増加し、そのようなモデルの運用使用を制限することができる。
同様に、新しい診断変数を追加するたびにDDWP全体をリトレーニングするのもコスト抑制である。
本稿では,新しい診断変数を高価なリトレーニングなしでエンドツーエンドDDWPモデルに追加する2段階のアプローチを提案する。
第1段階では、潜在空間に予測変数を埋め込むことを学ぶオートエンコーダをトレーニングします。
第2段階では、オートエンコーダは凍結され、"ダウンストリーム"モデルは、予測変数の潜在表現のみを入力として、診断変数を予測するために訓練される。
実験の結果,2段階の手法を用いてトレーニングしたモデルでは,トレーニング時の資源利用率を著しく低下させるとともに,トレーニング時と推定時と同等の精度が得られた。
このアプローチにより、既存のモデルに影響を与えることなく、必要に応じて新しい"ダウンストリーム"モデルを開発することができ、新しいモデルの運用における摩擦を低減できる。
関連論文リスト
- On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-21T18:31:04Z) - Prithvi WxC: Foundation Model for Weather and Climate [2.9230020115516253]
Prithvi WxCは、Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2)から160変数を用いて開発された23億のパラメータ基盤モデルである。
このモデルは、異なる位相の気象現象を微細な解像度でモデル化するために、大きなトークン数に対応できるように設計されている。
本稿では, 自動回帰ロールアウト予測, ダウンスケーリング, 重力波フラックスパラメータ化, エクストリームイベント推定など, 課題のある下流タスクのセットでモデルを検証する。
論文 参考訳（メタデータ） (2024-09-20T15:53:17Z) - Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - Weather Prediction with Diffusion Guided by Realistic Forecast Processes [49.07556359513563]
気象予報に拡散モデル(DM)を適用した新しい手法を提案する。
提案手法は,同一のモデリングフレームワークを用いて,直接予測と反復予測の両方を実現できる。
我々のモデルの柔軟性と制御性は、一般の気象コミュニティにとってより信頼性の高いDLシステムに力を与えます。
論文 参考訳（メタデータ） (2024-02-06T21:28:42Z) - Handling Concept Drift in Global Time Series Forecasting [10.732102570751392]
我々は2つの新しい概念ドリフトハンドリング手法、すなわち、誤り寄与度重み付け(ECW)と勾配降下度重み付け(GDW)を提案する。
これらの手法は、最新のシリーズと全シリーズで個別に訓練された2つの予測モデルを使用し、最終的に2つのモデルが提供する予測の重み付け平均を最終予測と見なす。
論文 参考訳（メタデータ） (2023-04-04T03:46:25Z) - Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。
いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
論文 参考訳（メタデータ） (2022-07-19T06:28:17Z) - SwinVRNN: A Data-Driven Ensemble Forecasting Model via Learned
Distribution Perturbation [16.540748935603723]
本研究では,SwinRNN予測器と摂動モジュールを組み合わせた天気予報モデルであるSwinVRNNを提案する。
SwinVRNNはECMWF統合予測システム(IFS)を2m温度と6時間総降水量で最大5日間のリードタイムで上回っている。
論文 参考訳（メタデータ） (2022-05-26T05:11:58Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z) - When in Doubt: Neural Non-Parametric Uncertainty Quantification for
Epidemic Forecasting [70.54920804222031]
既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。
不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。
本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
論文 参考訳（メタデータ） (2021-06-07T18:31:47Z) - Stable Prediction with Model Misspecification and Agnostic Distribution
Shift [41.26323389341987]
機械学習アルゴリズムでは、2つの主要な仮定が性能を保証するために必要である。
1つは、トレーニングデータと同じ分布からテストデータが引き出され、もう1つは、モデルが正しく指定されていることである。
モデルのミススペクテーションの下では、トレーニングデータとテストデータの間の分布シフトは、パラメータ推定の不正確さと未知のテストデータ間の予測の不安定性をもたらす。
可変デコリレーション正規化器と重み付き回帰モデルとを協調的に最適化する新しいDecororrelated Weighting Regression (DWR)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-01-31T08:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。