論文の概要: Online Continual Learning for Time Series: a Natural Score-driven Approach

• arxiv url: http://arxiv.org/abs/2601.12931v1
• Date: Mon, 19 Jan 2026 10:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.866027
• Title: Online Continual Learning for Time Series: a Natural Score-driven Approach
• Title（参考訳）: 時系列のオンライン連続学習 : 自然なスコア駆動アプローチ
• Authors: Edoardo Urettini, Daniele Atzeni, Ioanna-Yvonni Tsaknaki, Antonio Carta,
• Abstract要約: オンライン連続学習(OCL)手法は、過去の知識を忘れずに環境の変化に適応する。 オンライン時系列予測(OTSF)は、データが時間とともに進化し、成功は、迅速な適応と長期記憶の両方に依存する現実世界の問題である。 本稿では,時系列法とOCLの理論的および実践的関係を強化することを目的とする。
• 参考スコア（独自算出の注目度）: 2.8989185098518626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning (OCL) methods adapt to changing environments without forgetting past knowledge. Similarly, online time series forecasting (OTSF) is a real-world problem where data evolve in time and success depends on both rapid adaptation and long-term memory. Indeed, time-varying and regime-switching forecasting models have been extensively studied, offering a strong justification for the use of OCL in these settings. Building on recent work that applies OCL to OTSF, this paper aims to strengthen the theoretical and practical connections between time series methods and OCL. First, we reframe neural network optimization as a parameter filtering problem, showing that natural gradient descent is a score-driven method and proving its information-theoretic optimality. Then, we show that using a Student's t likelihood in addition to natural gradient induces a bounded update, which improves robustness to outliers. Finally, we introduce Natural Score-driven Replay (NatSR), which combines our robust optimizer with a replay buffer and a dynamic scale heuristic that improves fast adaptation at regime drifts. Empirical results demonstrate that NatSR achieves stronger forecasting performance than more complex state-of-the-art methods.
• Abstract（参考訳）: オンライン連続学習(OCL)手法は、過去の知識を忘れずに環境の変化に適応する。 同様に、オンライン時系列予測(OTSF)は、データが時間とともに進化し、成功は、迅速な適応と長期記憶の両方に依存する現実世界の問題である。 実際、時間変化および状況変化予測モデルが広く研究されており、これらの設定でOCLを使用することを強く正当化している。 本稿では,OCLをOTSFに適用する最近の研究に基づいて,時系列法とOCLの理論的および実践的関係を強化することを目的とする。 まず、パラメータフィルタリング問題としてニューラルネットワークの最適化を再構成し、自然な勾配降下がスコア駆動の手法であり、その情報理論の最適性を証明することを示す。 そして, 自然勾配に加え, 生徒の t 可能性を利用することで, 境界更新を誘導し, アウトリージに対する堅牢性を向上させることを示す。 最後に、ロバストなオプティマイザとリプレイバッファを組み合わせたNatural Score-driven Replay(NatSR)を導入する。 実験により、NatSRはより複雑な最先端手法よりも高い予測性能が得られることが示された。

関連論文リスト

• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• TS-ACL: Closed-Form Solution for Time Series-oriented Continual Learning [16.270548433574465]
  時系列のクラス増分学習は、破滅的な忘れ物とクラス内のバリエーションの2つの大きな課題に直面している。 そこで, TS-ACLを提案する。これは, 傾きのない閉形式解を利用して, 悲惨な忘れ問題を回避する。 プライバシー保護と効率性も備えている。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。