論文の概要: Utilizing Strategic Pre-training to Reduce Overfitting: Baguan -- A Pre-trained Weather Forecasting Model

• arxiv url: http://arxiv.org/abs/2505.13873v1
• Date: Tue, 20 May 2025 03:29:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.653323
• Title: Utilizing Strategic Pre-training to Reduce Overfitting: Baguan -- A Pre-trained Weather Forecasting Model
• Title（参考訳）: Baguan - 事前学習型気象予報モデル
• Authors: Peisong Niu, Ziqing Ma, Tian Zhou, Weiqi Chen, Lefei Shen, Rong Jin, Liang Sun,
• Abstract要約: 本研究では,サイムズオートエンコーダを事前学習した中距離気象予報モデルであるBaguanを紹介する。 実験の結果、バグア語は従来の手法よりも優れており、より正確な予測を提供することが示された。
• 参考スコア（独自算出の注目度）: 20.98899316909536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weather forecasting has long posed a significant challenge for humanity. While recent AI-based models have surpassed traditional numerical weather prediction (NWP) methods in global forecasting tasks, overfitting remains a critical issue due to the limited availability of real-world weather data spanning only a few decades. Unlike fields like computer vision or natural language processing, where data abundance can mitigate overfitting, weather forecasting demands innovative strategies to address this challenge with existing data. In this paper, we explore pre-training methods for weather forecasting, finding that selecting an appropriately challenging pre-training task introduces locality bias, effectively mitigating overfitting and enhancing performance. We introduce Baguan, a novel data-driven model for medium-range weather forecasting, built on a Siamese Autoencoder pre-trained in a self-supervised manner and fine-tuned for different lead times. Experimental results show that Baguan outperforms traditional methods, delivering more accurate forecasts. Additionally, the pre-trained Baguan demonstrates robust overfitting control and excels in downstream tasks, such as subseasonal-to-seasonal (S2S) modeling and regional forecasting, after fine-tuning.
• Abstract（参考訳）: 天気予報は長い間人類にとって重要な課題であった。 最近のAIベースのモデルでは、グローバルな予測タスクにおいて従来の数値天気予報(NWP)手法を超越しているが、数十年間の現実の気象データが不足しているため、オーバーフィッティングは依然として重要な問題である。 コンピュータビジョンや自然言語処理のような分野とは異なり、データの豊富さは過度な適合を緩和するが、天気予報は既存のデータでこの課題に対処するための革新的な戦略を要求する。 本稿では,天気予報のための事前学習手法について検討し,適切な事前学習課題を選択すると,局所性バイアスが生じ,過度な適合が軽減され,性能が向上することを示した。 我々は,サイムズオートエンコーダを事前訓練し,異なるリード時間で微調整した,中距離気象予報のための新しいデータ駆動モデルであるバグアンを紹介する。 実験の結果、バグア語は従来の手法よりも優れており、より正確な予測を提供することが示された。 さらに、事前訓練されたバグアーンでは、微調整後のサブシーズン・ツー・シーズン(S2S)モデリングや地域予測といった下流タスクにおいて、頑健なオーバーフィッティング制御と卓越性を実証している。

関連論文リスト

• Uncertainty quantification for data-driven weather models [0.0]
  本研究では,現在最先端の決定論的データ駆動気象モデルであるPangu-Weatherから確率的天気予報を生成するための不確実性定量化手法について検討・比較する。 具体的には,摂動によるアンサンブル予測を初期条件と比較し,予測の不確実性を定量化する手法を提案する。 欧州における選択された気象変数の中距離予測のケーススタディにおいて,不確実な定量化手法を用いてパング・ウェザーモデルを用いて得られた確率的予測は,有望な結果を示す。
  論文  参考訳（メタデータ） (2024-03-20T10:07:51Z)
• Weather Prediction with Diffusion Guided by Realistic Forecast Processes [49.07556359513563]
  気象予報に拡散モデル(DM)を適用した新しい手法を提案する。 提案手法は,同一のモデリングフレームワークを用いて,直接予測と反復予測の両方を実現できる。 我々のモデルの柔軟性と制御性は、一般の気象コミュニティにとってより信頼性の高いDLシステムに力を与えます。
  論文  参考訳（メタデータ） (2024-02-06T21:28:42Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• Scaling transformer neural networks for skillful and reliable medium-range weather forecasting [23.249955524044392]
  本稿では,標準変圧器バックボーンの変更を最小限に抑えつつ,気象予報の最先端性能であるStormerを紹介する。 Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。 ウェザーベンチ2では、ストーマーは短距離から中距離の予測で競争力を発揮し、現在の手法を7日を超えて上回っている。
  論文  参考訳（メタデータ） (2023-12-06T19:46:06Z)
• A case study of spatiotemporal forecasting techniques for weather forecasting [4.347494885647007]
  実世界のプロセスの相関は時間的であり、それらによって生成されたデータは空間的および時間的進化の両方を示す。 時系列モデルが数値予測の代替となる。 本研究では,分解時間予測モデルにより計算コストを低減し,精度を向上することを示した。
  論文  参考訳（メタデータ） (2022-09-29T13:47:02Z)
• Forecasting large-scale circulation regimes using deformable convolutional neural networks and global spatiotemporal climate data [86.1450118623908]
  変形可能な畳み込みニューラルネットワーク(deCNN)に基づく教師あり機械学習手法の検討 今後1～15日にわたって北大西洋-欧州の気象条件を予測した。 より広い視野で見れば、通常の畳み込みニューラルネットワークよりも5～6日を超えるリードタイムでかなり優れた性能を発揮することが分かる。
  論文  参考訳（メタデータ） (2022-02-10T11:37:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。