論文の概要: CA-MoE: Channel-Adapted MoE for Incremental Weather Forecasting

• arxiv url: http://arxiv.org/abs/2412.02503v1
• Date: Tue, 03 Dec 2024 15:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:41:25.952470
• Title: CA-MoE: Channel-Adapted MoE for Incremental Weather Forecasting
• Title（参考訳）: CA-MoE:Channel-Adapted MoE for Incremental Weather Forecasting
• Authors: Hao Chen, Han Tao, Guo Song, Jie Zhang, Yunlong Yu, Yonghan Dong, Chuang Yang, Lei Bai,
• Abstract要約: 天気予報に漸進的な学習を導入し、モデル内の変数の柔軟な拡張を可能にする新しい構造を提案する。 具体的には,チャネル適応型MOE (CA-MoE) を提案する。 広く利用されているERA5データセットを用いて行った実験により,インクリメンタルな段階でトレーニング可能なパラメータの約15%しか利用できず,最先端の競合と同等の性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 20.84335120477223
• License:
• Abstract: Atmospheric science is intricately connected with other fields, e.g., geography and aerospace. Most existing approaches involve training a joint atmospheric and geographic model from scratch, which incurs significant computational costs and overlooks the potential for incremental learning of weather variables across different domains. In this paper, we introduce incremental learning to weather forecasting and propose a novel structure that allows for the flexible expansion of variables within the model. Specifically, our method presents a Channel-Adapted MoE (CA-MoE) that employs a divide-and-conquer strategy. This strategy assigns variable training tasks to different experts by index embedding and reduces computational complexity through a channel-wise Top-K strategy. Experiments conducted on the widely utilized ERA5 dataset reveal that our method, utilizing only approximately 15\% of trainable parameters during the incremental stage, attains performance that is on par with state-of-the-art competitors. Notably, in the context of variable incremental experiments, our method demonstrates negligible issues with catastrophic forgetting.
• Abstract（参考訳）: 大気科学は他の分野、例えば地理や航空宇宙と複雑に結びついている。 既存のアプローチのほとんどは、スクラッチから大気と地理の合同モデルを訓練することを含んでおり、これは計算コストを大幅に上回っており、異なる領域にわたる気象変数の漸進的な学習の可能性を見落としている。 本稿では,天気予報に漸進的な学習を導入し,モデル内の変数の柔軟な拡張を可能にする新しい構造を提案する。 具体的には,チャネル適応型MOE (CA-MoE) を提案する。 この戦略は、インデックス埋め込みによって異なる専門家に可変トレーニングタスクを割り当て、チャネルワイドのTop-K戦略を通じて計算複雑性を低減させる。 広く利用されているERA5データセットを用いて行った実験により,インクリメンタル段階におけるトレーニング可能なパラメータの約15%しか利用できず,最先端の競合と同等の性能が得られることがわかった。 特に, 変動インクリメンタルな実験の文脈では, 破滅的な忘れ込みを伴う無視可能な問題を示す。

関連論文リスト

• Efficient Localized Adaptation of Neural Weather Forecasting: A Case Study in the MENA Region [62.09891513612252]
  地域レベルのダウンストリームタスクに特化して、リミテッド・エリア・モデリングに焦点を合わせ、モデルをトレーニングします。 我々は,気象予報が水資源の管理,農業,極度の気象事象の影響軽減に重要であるという,気象学的課題からMENA地域を考察する。 本研究では,パラメータ効率のよい微調整手法,特にローランド適応(LoRA)とその変種を統合することの有効性を検証することを目的とした。
  論文  参考訳（メタデータ） (2024-09-11T19:31:56Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• VarteX: Enhancing Weather Forecast through Distributed Variable Representation [5.2980803808373516]
  近年のデータ駆動型モデルでは, 予測性能の深層学習を利用して, 数値的な天気予報に勝っている。 本研究では,新しい変数集約方式と,その課題に対する効率的な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T02:42:30Z)
• Analyzing and Exploring Training Recipes for Large-Scale Transformer-Based Weather Prediction [1.3194391758295114]
  比較的オフ・ザ・シェルフアーキテクチャ、簡単な訓練手順、適度な計算予算でも高い予測能力が得られることを示す。 具体的には、ERA5データに基づいて最小修正SwinV2変換器をトレーニングし、IFSと比較すると優れた予測技術が得られることを確かめる。
  論文  参考訳（メタデータ） (2024-04-30T15:30:14Z)
• MetaSD: A Unified Framework for Scalable Downscaling of Meteorological Variables in Diverse Situations [8.71735078449217]
  本稿ではメタラーニングを活用した統一的なダウンスケーリング手法を提案する。 ERA5, GFSから温度, 風, 表面圧力, 総降水量からなる変数を訓練した。 提案手法は, 対流降水量, 電位, エネルギー高さ, 湿度CFS, S2S, CMIP6の時間スケールに拡張可能である。
  論文  参考訳（メタデータ） (2024-04-26T06:31:44Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Data-Driven Evaluation of Training Action Space for Reinforcement Learning [1.370633147306388]
  本稿では,行動空間の分類とランク付けを訓練するためのShapleyに着想を得た方法論を提案する。 指数時間シェープ計算を減らすため、モンテカルロシミュレーションを含む。 提案したデータ駆動手法は、異なるドメイン、ユースケース、強化学習アルゴリズムへのRLである。
  論文  参考訳（メタデータ） (2022-04-08T04:53:43Z)
• Reservoir Computing as a Tool for Climate Predictability Studies [0.0]
  我々は、Reservoir Computingが線形逆モデリングアプローチの予測スキルを改善する代替非線形アプローチを提供することを示す。 RC手法の幅広い条件に対する予測能力の向上は、この機械学習技術が気候予測可能性研究に有効である可能性を示唆している。
  論文  参考訳（メタデータ） (2021-02-24T22:22:59Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Unsupervised Dense Shape Correspondence using Heat Kernels [50.682560435495034]
  本稿では,近年の深層関数マップフレームワークを用いて,形状間の密接な対応を学習するための教師なし手法を提案する。 地平線対応や計算に高価な測地線距離に依存するのではなく、熱核を用いる。 本稿では,部分性,トポロジカルノイズ,接続性の違いなど,様々な課題があるベンチマークに対して,本手法の結果を示す。
  論文  参考訳（メタデータ） (2020-10-23T21:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。