論文の概要: Utilizing Strategic Pre-training to Reduce Overfitting: Baguan -- A Pre-trained Weather Forecasting Model

• arxiv url: http://arxiv.org/abs/2505.13873v1
• Date: Tue, 20 May 2025 03:29:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.653323
• Title: Utilizing Strategic Pre-training to Reduce Overfitting: Baguan -- A Pre-trained Weather Forecasting Model
• Title（参考訳）: Baguan - 事前学習型気象予報モデル
• Authors: Peisong Niu, Ziqing Ma, Tian Zhou, Weiqi Chen, Lefei Shen, Rong Jin, Liang Sun,
• Abstract要約: 本研究では,サイムズオートエンコーダを事前学習した中距離気象予報モデルであるBaguanを紹介する。 実験の結果、バグア語は従来の手法よりも優れており、より正確な予測を提供することが示された。
• 参考スコア（独自算出の注目度）: 20.98899316909536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weather forecasting has long posed a significant challenge for humanity. While recent AI-based models have surpassed traditional numerical weather prediction (NWP) methods in global forecasting tasks, overfitting remains a critical issue due to the limited availability of real-world weather data spanning only a few decades. Unlike fields like computer vision or natural language processing, where data abundance can mitigate overfitting, weather forecasting demands innovative strategies to address this challenge with existing data. In this paper, we explore pre-training methods for weather forecasting, finding that selecting an appropriately challenging pre-training task introduces locality bias, effectively mitigating overfitting and enhancing performance. We introduce Baguan, a novel data-driven model for medium-range weather forecasting, built on a Siamese Autoencoder pre-trained in a self-supervised manner and fine-tuned for different lead times. Experimental results show that Baguan outperforms traditional methods, delivering more accurate forecasts. Additionally, the pre-trained Baguan demonstrates robust overfitting control and excels in downstream tasks, such as subseasonal-to-seasonal (S2S) modeling and regional forecasting, after fine-tuning.
• Abstract（参考訳）: 天気予報は長い間人類にとって重要な課題であった。 最近のAIベースのモデルでは、グローバルな予測タスクにおいて従来の数値天気予報(NWP)手法を超越しているが、数十年間の現実の気象データが不足しているため、オーバーフィッティングは依然として重要な問題である。 コンピュータビジョンや自然言語処理のような分野とは異なり、データの豊富さは過度な適合を緩和するが、天気予報は既存のデータでこの課題に対処するための革新的な戦略を要求する。 本稿では,天気予報のための事前学習手法について検討し,適切な事前学習課題を選択すると,局所性バイアスが生じ,過度な適合が軽減され,性能が向上することを示した。 我々は,サイムズオートエンコーダを事前訓練し,異なるリード時間で微調整した,中距離気象予報のための新しいデータ駆動モデルであるバグアンを紹介する。 実験の結果、バグア語は従来の手法よりも優れており、より正確な予測を提供することが示された。 さらに、事前訓練されたバグアーンでは、微調整後のサブシーズン・ツー・シーズン(S2S)モデリングや地域予測といった下流タスクにおいて、頑健なオーバーフィッティング制御と卓越性を実証している。

関連論文リスト

• Generative assimilation and prediction for weather and climate [9.319028023682494]
  GAP(Generative Assimilation and Prediction)を紹介する。 GAPは気候と気候の同化と予測のための統合された枠組みである。 データ同化、シームレスな予測、気候シミュレーションなど、幅広い気候関連タスクに優れています。
  論文  参考訳（メタデータ） (2025-03-04T22:36:29Z)
• Data driven weather forecasts trained and initialised directly from observations [1.44556167750856]
  Skilful Machine Learned weather forecasts has challenged our approach to numerical weather prediction。 データ駆動システムは、過去の気象の長い歴史記録から学ぶことによって、将来の天気を予測するために訓練されている。 そこで我々は,ニューラルネットワークをトレーニングし,過去の観測から将来の天気を予測する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T12:23:26Z)
• VarteX: Enhancing Weather Forecast through Distributed Variable Representation [5.2980803808373516]
  近年のデータ駆動型モデルでは, 予測性能の深層学習を利用して, 数値的な天気予報に勝っている。 本研究では,新しい変数集約方式と,その課題に対する効率的な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T02:42:30Z)
• Uncertainty quantification for data-driven weather models [0.0]
  本研究では,現在最先端の決定論的データ駆動気象モデルであるPangu-Weatherから確率的天気予報を生成するための不確実性定量化手法について検討・比較する。 具体的には,摂動によるアンサンブル予測を初期条件と比較し,予測の不確実性を定量化する手法を提案する。 欧州における選択された気象変数の中距離予測のケーススタディにおいて,不確実な定量化手法を用いてパング・ウェザーモデルを用いて得られた確率的予測は,有望な結果を示す。
  論文  参考訳（メタデータ） (2024-03-20T10:07:51Z)
• Weather Prediction with Diffusion Guided by Realistic Forecast Processes [49.07556359513563]
  気象予報に拡散モデル(DM)を適用した新しい手法を提案する。 提案手法は,同一のモデリングフレームワークを用いて,直接予測と反復予測の両方を実現できる。 我々のモデルの柔軟性と制御性は、一般の気象コミュニティにとってより信頼性の高いDLシステムに力を与えます。
  論文  参考訳（メタデータ） (2024-02-06T21:28:42Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather Forecasting [56.73502043159699]
  この研究は、データ駆動型世界天気予報モデルであるFengWu-GHRを、0.09$circ$水平解像度で実行した。 低解像度モデルから事前知識を継承することにより、MLベースの高解像度予測を操作するための扉を開く新しいアプローチを導入する。 2022年の天気予報は、FengWu-GHRがIFS-HRESよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-28T13:23:25Z)
• Scaling transformer neural networks for skillful and reliable medium-range weather forecasting [23.249955524044392]
  本稿では,標準変圧器バックボーンの変更を最小限に抑えつつ,気象予報の最先端性能であるStormerを紹介する。 Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。 ウェザーベンチ2では、ストーマーは短距離から中距離の予測で競争力を発揮し、現在の手法を7日を超えて上回っている。
  論文  参考訳（メタデータ） (2023-12-06T19:46:06Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Long-term drought prediction using deep neural networks based on geospatial weather data [75.38539438000072]
  農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。 私たちは、体系的なエンドツーエンドアプローチを採用するエンドツーエンドアプローチを導入することで、干ばつデータに取り組みます。 主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
  論文  参考訳（メタデータ） (2023-09-12T13:28:06Z)
• A case study of spatiotemporal forecasting techniques for weather forecasting [4.347494885647007]
  実世界のプロセスの相関は時間的であり、それらによって生成されたデータは空間的および時間的進化の両方を示す。 時系列モデルが数値予測の代替となる。 本研究では,分解時間予測モデルにより計算コストを低減し,精度を向上することを示した。
  論文  参考訳（メタデータ） (2022-09-29T13:47:02Z)
• Forecasting large-scale circulation regimes using deformable convolutional neural networks and global spatiotemporal climate data [86.1450118623908]
  変形可能な畳み込みニューラルネットワーク(deCNN)に基づく教師あり機械学習手法の検討 今後1～15日にわたって北大西洋-欧州の気象条件を予測した。 より広い視野で見れば、通常の畳み込みニューラルネットワークよりも5～6日を超えるリードタイムでかなり優れた性能を発揮することが分かる。
  論文  参考訳（メタデータ） (2022-02-10T11:37:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。