論文の概要: EMFormer: Efficient Multi-Scale Transformer for Accumulative Context Weather Forecasting

• arxiv url: http://arxiv.org/abs/2602.01194v1
• Date: Sun, 01 Feb 2026 12:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.654239
• Title: EMFormer: Efficient Multi-Scale Transformer for Accumulative Context Weather Forecasting
• Title（参考訳）: EMFormer: 累積気象予報のための効率的なマルチスケール変圧器
• Authors: Hao Chen, Tao Han, Jie Zhang, Song Guo, Fenghua Ling, Lei Bai,
• Abstract要約: 長期の天気予報は社会経済計画や災害に備える上で重要である。 本稿では,事前学習,微調整,予測にまたがる新しいパイプラインを提案する。 トレーニングと推論の両方において単一の畳み込みによってマルチスケール特徴を抽出する効率的なマルチスケールトランス (EMFormer) を提案する。
• 参考スコア（独自算出の注目度）: 34.793750131438934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-term weather forecasting is critical for socioeconomic planning and disaster preparedness. While recent approaches employ finetuning to extend prediction horizons, they remain constrained by the issues of catastrophic forgetting, error accumulation, and high training overhead. To address these limitations, we present a novel pipeline across pretraining, finetuning and forecasting to enhance long-context modeling while reducing computational overhead. First, we introduce an Efficient Multi-scale Transformer (EMFormer) to extract multi-scale features through a single convolution in both training and inference. Based on the new architecture, we further employ an accumulative context finetuning to improve temporal consistency without degrading short-term accuracy. Additionally, we propose a composite loss that dynamically balances different terms via a sinusoidal weighting, thereby adaptively guiding the optimization trajectory throughout pretraining and finetuning. Experiments show that our approach achieves strong performance in weather forecasting and extreme event prediction, substantially improving long-term forecast accuracy. Moreover, EMFormer demonstrates strong generalization on vision benchmarks (ImageNet-1K and ADE20K) while delivering a 5.69x speedup over conventional multi-scale modules.
• Abstract（参考訳）: 長期の天気予報は社会経済計画や災害に備える上で重要である。 最近のアプローチでは、予測の地平線を拡張するために微調整が採用されているが、破滅的な忘れ、エラーの蓄積、高いトレーニングオーバーヘッドといった問題に制約されている。 これらの制約に対処するために、計算オーバーヘッドを低減しつつ、長期コンテキストモデリングを強化するために、事前学習、微調整、予測にまたがる新しいパイプラインを提案する。 まず、トレーニングと推論の両方において単一の畳み込みによってマルチスケール特徴を抽出する効率的なマルチスケールトランス (EMFormer) を提案する。 新しいアーキテクチャに基づいて、短時間の精度を劣化させることなく、時間的一貫性を向上させるために蓄積コンテキストを微調整する。 さらに、正弦波重み付けにより異なる項を動的にバランスさせ、事前学習と微調整を通して最適化軌道を適応的に導く合成損失を提案する。 実験により, 気象予報や極端事象予測において高い性能を達成し, 長期予測精度を大幅に向上することが示された。 さらに、EMFormerはビジョンベンチマーク(ImageNet-1KとADE20K)を強く一般化し、従来のマルチスケールモジュールよりも5.69倍のスピードアップを実現している。

関連論文リスト

• Back to the Future: Look-ahead Augmentation and Parallel Self-Refinement for Time Series Forecasting [10.615433089293228]
  Back to the Future(バック・トゥ・ザ・フューチャー・トゥ・フューチャー)は、ルックアヘッドの強化と自己修正による安定性の予測を強化する、シンプルで効果的なフレームワークである。 その単純さにもかかわらず、我々の手法は長い水平精度を一貫して改善し、線形予測モデルの不安定性を緩和する。 これらの結果から, モデル生成予測を拡張として活用することは, 複雑なアーキテクチャがなくても, 長期予測を高めるための単純かつ強力な方法である可能性が示唆された。
  論文  参考訳（メタデータ） (2026-02-02T14:23:31Z)
• Accurate typhoon intensity forecasts using a non-iterative spatiotemporal transformer model [3.468838035344738]
  熱帯サイクロン(TC)強度の正確な予測は、運用気象学の課題である。 機械学習の最近の進歩は、TC予測の顕著な進歩をもたらした。 本稿では,非定常5日間の強度軌跡を生成するトランスフォーマーに基づく予測モデルNetを紹介する。
  論文  参考訳（メタデータ） (2025-09-18T20:50:17Z)
• Does Scaling Law Apply in Time Series Forecasting? [2.127584662240465]
  我々は,kレベルパラメータのみを用いて競合性能を実現する超軽量予測モデルであるAlinearを提案する。 7つのベンチマークデータセットの実験では、Alinearが大規模モデルよりも一貫して優れていることが示されている。 この研究は、より大きなモデルが本質的に優れているという一般的な信念に挑戦し、より効率的な時系列モデリングへのパラダイムシフトを示唆している。
  論文  参考訳（メタデータ） (2025-05-15T11:04:39Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• Does Vector Quantization Fail in Spatio-Temporal Forecasting? Exploring a Differentiable Sparse Soft-Vector Quantization Approach [22.070533429289334]
  Sparse Soft- Quantization (SVQ) は、時間的予測を強化するための最初のVQ手法である。 SVQはスパースノイズの低減とバランスを取り、完全性を提供し、スパースレグレッションの強固な基盤を提供する。 このアプローチでは,スパース回帰プロセスの合理化のために,2層データセットと広範なコードブックを用いる。
  論文  参考訳（メタデータ） (2023-12-06T10:42:40Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。