論文の概要: WeatherFormer: A Pretrained Encoder Model for Learning Robust Weather Representations from Small Datasets
- arxiv url: http://arxiv.org/abs/2405.17455v1
- Date: Wed, 22 May 2024 17:43:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 00:20:06.403879
- Title: WeatherFormer: A Pretrained Encoder Model for Learning Robust Weather Representations from Small Datasets
- Title（参考訳）: WeatherFormer:小さなデータセットからロバスト気象表現を学習するための事前学習エンコーダモデル
- Authors: Adib Hasan, Mardavij Roozbehani, Munther Dahleh,
- Abstract要約: WeatherFormerは、最小限の観測から堅牢な気象特徴を学習するために設計されたトランスフォーマーエンコーダベースのモデルである。
ウェザーホルマーは、アメリカ大陸の39年間の衛星観測による大規模な事前訓練データセットで事前訓練された。
- 参考スコア（独自算出の注目度）: 0.5735035463793009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces WeatherFormer, a transformer encoder-based model designed to learn robust weather features from minimal observations. It addresses the challenge of modeling complex weather dynamics from small datasets, a bottleneck for many prediction tasks in agriculture, epidemiology, and climate science. WeatherFormer was pretrained on a large pretraining dataset comprised of 39 years of satellite measurements across the Americas. With a novel pretraining task and fine-tuning, WeatherFormer achieves state-of-the-art performance in county-level soybean yield prediction and influenza forecasting. Technical innovations include a unique spatiotemporal encoding that captures geographical, annual, and seasonal variations, adapting the transformer architecture to continuous weather data, and a pretraining strategy to learn representations that are robust to missing weather features. This paper for the first time demonstrates the effectiveness of pretraining large transformer encoder models for weather-dependent applications across multiple domains.
- Abstract（参考訳）: 本稿では,極小観測から強靭な気象特徴を学習するためのトランスフォーマー・エンコーダ・モデルであるWeatherFormerを紹介する。
これは、農業、疫学、気候科学における多くの予測タスクのボトルネックである、小さなデータセットから複雑な気象力学をモデル化するという課題に対処する。
ウェザーホルマーは、アメリカ大陸の39年間の衛星観測による大規模な事前訓練データセットで事前訓練された。
新規な事前訓練作業と微調整により、郡レベルの大豆収量予測とインフルエンザ予測において最先端のパフォーマンスを達成する。
技術的革新には、地理的、年次、季節的な変動を捉え、トランスフォーマーアーキテクチャを継続的な気象データに適用するユニークな時空間符号化、そして、欠落した気象の特徴に対して堅牢な表現を学ぶための事前訓練戦略が含まれる。
本稿では,複数の領域にまたがる気象依存アプリケーションに対して,大規模変圧器エンコーダモデルの事前学習の有効性を初めて示す。
関連論文リスト
- WeatherGFM: Learning A Weather Generalist Foundation Model via In-context Learning [69.82211470647349]
第1次一般気象基礎モデル(WeatherGFM)を紹介する。
気象理解タスクの幅広い範囲を統一的な方法で解決する。
我々のモデルは、天気予報、超解像、天気画像翻訳、後処理など、最大10の気象理解タスクを効果的に処理できる。
論文 参考訳（メタデータ） (2024-11-08T09:14:19Z) - Advancing Meteorological Forecasting: AI-based Approach to Synoptic Weather Map Analysis [3.686808512438363]
本研究では,新しい事前処理手法と畳み込みオートエンコーダモデルを提案する。
このモデルでは、現在の大気条件にほぼ一致する歴史的シンフォティック気象図を認識できた。
論文 参考訳（メタデータ） (2024-11-08T07:46:50Z) - Generalizing Weather Forecast to Fine-grained Temporal Scales via Physics-AI Hybrid Modeling [55.13352174687475]
本稿では,天気予報をより微細なテンポラルスケールに一般化する物理AIハイブリッドモデル(WeatherGFT)を提案する。
具体的には、小さな時間スケールで物理進化をシミュレートするために、慎重に設計されたPDEカーネルを用いる。
我々は、異なるリードタイムでのモデルの一般化を促進するためのリードタイムアウェアトレーニングフレームワークを導入する。
論文 参考訳（メタデータ） (2024-05-22T16:21:02Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳（メタデータ） (2024-02-02T10:34:13Z) - Scaling transformer neural networks for skillful and reliable medium-range weather forecasting [23.249955524044392]
本稿では,標準変圧器バックボーンの変更を最小限に抑えつつ,気象予報の最先端性能であるStormerを紹介する。
Stormerの中核はランダムな予測目標であり、様々な時間間隔で天気のダイナミクスを予測するためにモデルを訓練する。
ウェザーベンチ2では、ストーマーは短距離から中距離の予測で競争力を発揮し、現在の手法を7日を超えて上回っている。
論文 参考訳（メタデータ） (2023-12-06T19:46:06Z) - Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。
提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-11-30T08:22:08Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。
全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。
我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-12-24T18:15:39Z) - TENT: Tensorized Encoder Transformer for Temperature Forecasting [3.498371632913735]
天気予報のためのトランスフォーマーアーキテクチャに基づく新しいモデルを提案する。
元の変換器と3D畳み込みニューラルネットワークと比較して、提案したTENTモデルは、気象データの基本となる複雑なパターンをより良くモデル化できることを示す。
2つの実生活気象データセットの実験を行う。
論文 参考訳（メタデータ） (2021-06-28T14:17:22Z) - Smart Weather Forecasting Using Machine Learning:A Case Study in
Tennessee [2.9477900773805032]
本稿では,複数の気象観測所の過去のデータを利用して,シンプルな機械学習モデルを訓練する天気予報手法を提案する。
モデルの精度は、現在の最先端技術と併用するのに十分である。
論文 参考訳（メタデータ） (2020-08-25T02:41:32Z) - SmaAt-UNet: Precipitation Nowcasting using a Small Attention-UNet
Architecture [5.28539620288341]
データ駆動型ニューラルネットワークのアプローチにより,正確な降水量を推定できることが示唆された。
オランダ地域の降水マップとフランスのクラウドカバレッジのバイナリ画像を用いて、実際のデータセットに対する我々のアプローチを評価した。
論文 参考訳（メタデータ） (2020-07-08T20:33:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。