論文の概要: Personalized Adapter for Large Meteorology Model on Devices: Towards Weather Foundation Models
- arxiv url: http://arxiv.org/abs/2405.20348v1
- Date: Fri, 24 May 2024 15:25:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-09 16:28:54.676329
- Title: Personalized Adapter for Large Meteorology Model on Devices: Towards Weather Foundation Models
- Title（参考訳）: デバイス上の大規模気象モデルに対するパーソナライズされた適応:気象基礎モデルに向けて
- Authors: Shengchao Chen, Guodong Long, Jing Jiang, Chengqi Zhang,
- Abstract要約: LM-Weatherは、事前訓練された言語モデル(PLM)を使用する一般的なアプローチである
PLMに軽量なパーソナライズドアダプタを導入し、気象パターンの認識に役立てる。
実験の結果、LM-Weatherは様々なタスクにおいて最先端の結果より優れていた。
- 参考スコア（独自算出の注目度）: 36.229082478423585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper demonstrates that pre-trained language models (PLMs) are strong foundation models for on-device meteorological variables modeling. We present LM-Weather, a generic approach to taming PLMs, that have learned massive sequential knowledge from the universe of natural language databases, to acquire an immediate capability to obtain highly customized models for heterogeneous meteorological data on devices while keeping high efficiency. Concretely, we introduce a lightweight personalized adapter into PLMs and endows it with weather pattern awareness. During communication between clients and the server, low-rank-based transmission is performed to effectively fuse the global knowledge among devices while maintaining high communication efficiency and ensuring privacy. Experiments on real-wold dataset show that LM-Weather outperforms the state-of-the-art results by a large margin across various tasks (e.g., forecasting and imputation at different scales). We provide extensive and in-depth analyses experiments, which verify that LM-Weather can (1) indeed leverage sequential knowledge from natural language to accurately handle meteorological sequence, (2) allows each devices obtain highly customized models under significant heterogeneity, and (3) generalize under data-limited and out-of-distribution (OOD) scenarios.
- Abstract（参考訳）: 本稿では,事前学習言語モデル(PLM)がオンデバイス気象変数モデリングの強力な基礎モデルであることを示す。
自然言語データベースの宇宙から膨大なシーケンシャルな知識を習得し,高効率を保ちながらデバイス上で異種気象データの高度にカスタマイズされたモデルを得るための総合的な手法であるLM-Weatherを提案する。
具体的には、PLMに軽量なパーソナライズされたアダプタを導入し、気象パターンの認識を付与する。
クライアントとサーバ間の通信において、高い通信効率を維持し、プライバシを確保するとともに、デバイス間のグローバルな知識を効果的に融合させるために、低ランクベースの送信を行う。
実世界のデータセットでの実験では、LM-Weatherは様々なタスク(例えば、様々なスケールでの予測と計算)で最先端の結果を上回っている。
本研究では,(1)自然言語からの逐次的知識を活用して気象シーケンスを正確に処理できること,(2)各デバイスが大きな異質性の下で高度にカスタマイズされたモデルを得ることを可能にすること,(3)データ制限およびアウト・オブ・ディストリビューション(OOD)のシナリオ下で一般化すること,など,広範囲にわたる詳細な分析実験を行う。
関連論文リスト
- Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳（メタデータ） (2024-11-24T04:56:45Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - LightWeather: Harnessing Absolute Positional Encoding to Efficient and Scalable Global Weather Forecasting [21.048535830456363]
絶対的な位置符号化がTransformerベースの天気予報モデルで実際に機能していることが示される。
本稿では,測候の軽量かつ効果的なモデルであるLightWeatherを提案する。
論文 参考訳（メタデータ） (2024-08-19T04:23:40Z) - A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics [8.012940782999975]
我々は,汎用リアルタイムデータ同化フレームワークを導入し,そのエンドツーエンド性能をFrontierスーパーコンピュータ上で実証する。
このフレームワークは、アンサンブルスコアフィルタ(EnSF)とビジョントランスフォーマーベースのサロゲートの2つの主要モジュールから構成される。
ExascaleスーパーコンピュータであるFrontier上では、私たちのフレームワークの強いスケーリングと弱いスケーリングの両方を1024GPUで実証しています。
論文 参考訳（メタデータ） (2024-07-16T20:44:09Z) - Probabilistic Emulation of a Global Climate Model with Spherical DYffusion [15.460280166612119]
本研究では, 高精度で物理的に整合した地球規模の気候アンサンブルシミュレーションを作成した最初の条件生成モデルを提案する。
我々のモデルは、動的インフォームド拡散フレームワーク(DYffusion)と、球状フーリエニューラル演算子(SFNO)アーキテクチャを統合する。
このモデルは、気候モデルエミュレーションのための金本位に近い性能を達成し、既存のアプローチを上回り、有望なアンサンブルスキルを実証する。
論文 参考訳（メタデータ） (2024-06-21T00:16:55Z) - Towards an end-to-end artificial intelligence driven global weather forecasting system [57.5191940978886]
我々は,地球規模の気象変動に対するAIに基づくデータ同化モデル,すなわちAdasを提案する。
我々は,アダスが地球観測を同化して高品質な分析を行い,長期にわたって安定して運用できることを実証した。
この手法を現実のシナリオに適用するのは,私たちが初めてです。
論文 参考訳（メタデータ） (2023-12-18T09:05:28Z) - FengWu-4DVar: Coupling the Data-driven Weather Forecasting Model with 4D Variational Assimilation [67.20588721130623]
我々は,AIを用いた循環型天気予報システムFengWu-4DVarを開発した。
FengWu-4DVarは観測データをデータ駆動の天気予報モデルに組み込むことができる。
シミュレーションされた観測データセットの実験は、FengWu-4DVarが合理的な解析場を生成することができることを示した。
論文 参考訳（メタデータ） (2023-12-16T02:07:56Z) - Federated Prompt Learning for Weather Foundation Models on Devices [37.88417074427373]
天気予報のためのデバイス上のインテリジェンスでは、ローカルなディープラーニングモデルを使用して、集中型クラウドコンピューティングなしで気象パターンを分析する。
本稿では,FedPoD(Federated Prompt Learning for Weather Foundation Models on Devices)を提案する。
FedPoDは、通信効率を維持しながら、高度にカスタマイズされたモデルを得ることができる。
論文 参考訳（メタデータ） (2023-05-23T16:59:20Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。