論文の概要: Rethinking Adam for Time Series Forecasting: A Simple Heuristic to Improve Optimization under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2603.10095v1
• Date: Tue, 10 Mar 2026 16:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.634225
• Title: Rethinking Adam for Time Series Forecasting: A Simple Heuristic to Improve Optimization under Distribution Shifts
• Title（参考訳）: 時系列予測のためのAdamの再考: 分散シフトの下で最適化を改善するためのシンプルなヒューリスティック
• Authors: Yuze Dong, Jinsong Wu,
• Abstract要約: 時系列の予測は、しばしば分布のドリフトによる課題に直面します。 この動的な振る舞いは、アダムのような適応的な風景の有効性を損なう可能性がある。 学習速度から2階補正を除去する軽量な変種TS_Adamを提案する。
• 参考スコア（独自算出の注目度）: 1.8022002874089529
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time-series forecasting often faces challenges from non-stationarity, particularly distributional drift, where the data distribution evolves over time. This dynamic behavior can undermine the effectiveness of adaptive optimizers, such as Adam, which are typically designed for stationary objectives. In this paper, we revisit Adam in the context of non-stationary forecasting and identify that its second-order bias correction limits responsiveness to shifting loss landscapes. To address this, we propose TS_Adam, a lightweight variant that removes the second-order correction from the learning rate computation. This simple modification improves adaptability to distributional drift while preserving the optimizer core structure and requiring no additional hyperparameters. TS_Adam integrates easily into existing models and consistently improves performance across long- and short-term forecasting tasks. On the ETT datasets with the MICN model, it achieves an average reduction of 12.8% in MSE and 5.7% in MAE compared to Adam. These results underscore the practicality and versatility of TS_Adam as an effective optimization strategy for real-world forecasting scenarios involving non-stationary data. Code is available at: https://github.com/DD-459-1/TS_Adam.
• Abstract（参考訳）: 時系列予測は、時間とともにデータ分布が進化する非定常性、特に分布ドリフトの課題に直面することが多い。 この動的な振る舞いは、典型的には定常目的のために設計されたアダムのような適応最適化器の有効性を損なう可能性がある。 本稿では,非定常予測の文脈でAdamを再検討し,その2次偏差補正が損失景観の変化に対する応答性を制限することを確認した。 そこで本稿では,学習率計算から2階補正を除去する軽量な変種TS_Adamを提案する。 この単純な修正により、オプティマイザコア構造を保ちながら分散ドリフトへの適応性が向上し、追加のハイパーパラメータを必要としない。 TS_Adamは既存のモデルと簡単に統合でき、長期および短期の予測タスクにおけるパフォーマンスを一貫して改善する。 MICNモデルによるETTデータセットでは、平均12.8%のMSEと5.7%のMAEの削減を達成する。 これらの結果は,非定常データを含む実世界の予測シナリオに対する効果的な最適化戦略として,TS_Adamの実用性と汎用性を裏付けるものである。 コードは、https://github.com/DD-459-1/TS_Adam.comで入手できる。

関連論文リスト

• AdamNX: An Adam improvement algorithm based on a novel exponential decay mechanism for the second-order moment estimate [13.40796672049436]
  AdamNXアルゴリズムは局所的および大域的ミニマに高次元最適化を収束させるために提案されている。 その中心となる革新は、新しいタイプの2階モーメント推定指数減衰率の提案にある。 その結果, 2次モーメント推定指数減衰速度は, 現在の2次モーメント推定指数減衰速度よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-11-17T15:07:55Z)
• AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training [22.58304858379219]
  我々は,大規模言語モデル(LLM)の事前学習とポストトレーニングのための,Adamの簡易かつ効果的な代替手段であるAdamSを紹介した。 新たな分母、すなわち運動量と現在の勾配の重み付き和の根を利用することにより、AdamSは第二モーメント推定の必要性を排除している。 AdamSは効率が良く、SGDのメモリと計算フットプリントと運動量とを一致させ、優れた最適化性能を提供する。
  論文  参考訳（メタデータ） (2025-05-22T08:16:48Z)
• CAdam: Confidence-Based Optimization for Online Learning [41.022196390765714]
  更新を決定する前に,各パラメータ次元の運動量と勾配の整合性を評価する信頼度に基づく最適化戦略であるCAdamを導入する。 CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。 大規模なA/Bテストでは、CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。
  論文  参考訳（メタデータ） (2024-11-29T12:00:27Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
  Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:56:49Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。