論文の概要: Learning Fast and Slow for Online Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2202.11672v1
• Date: Wed, 23 Feb 2022 18:23:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 16:20:26.867193
• Title: Learning Fast and Slow for Online Time Series Forecasting
• Title（参考訳）: オンライン時系列予測のための高速で遅い学習
• Authors: Quang Pham, Chenghao Liu, Doyen Sahoo, Steven C.H. Hoi
• Abstract要約: Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
• 参考スコア（独自算出の注目度）: 76.50127663309604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fast adaptation capability of deep neural networks in non-stationary environments is critical for online time series forecasting. Successful solutions require handling changes to new and recurring patterns. However, training deep neural forecaster on the fly is notoriously challenging because of their limited ability to adapt to non-stationary environments and the catastrophic forgetting of old knowledge. In this work, inspired by the Complementary Learning Systems (CLS) theory, we propose Fast and Slow learning Networks (FSNet), a holistic framework for online time-series forecasting to simultaneously deal with abrupt changing and repeating patterns. Particularly, FSNet improves the slowly-learned backbone by dynamically balancing fast adaptation to recent changes and retrieving similar old knowledge. FSNet achieves this mechanism via an interaction between two complementary components of an adapter to monitor each layer's contribution to the lost, and an associative memory to support remembering, updating, and recalling repeating events. Extensive experiments on real and synthetic datasets validate FSNet's efficacy and robustness to both new and recurring patterns. Our code will be made publicly available.
• Abstract（参考訳）: 非定常環境におけるディープニューラルネットワークの高速適応性は,オンライン時系列予測に重要である。 成功するソリューションには、新しく繰り返されるパターンの変更を扱う必要がある。 しかし、非定常環境への適応能力の制限と、古い知識の破滅的な忘れが原因で、深層神経予知装置の訓練は極めて難しい。 本研究では,相補的学習システム(cls)理論に着想を得て,オンライン時系列予測のための包括的フレームワークであるfast and slow learning networks(fsnet)を提案する。 特にFSNetは、最近の変更への迅速な適応の動的バランスと、同様の古い知識の取得によって、ゆっくりと学習されたバックボーンを改善している。 FSNetは、各レイヤの損失に対するコントリビューションを監視するアダプタの2つの補完的なコンポーネントと、繰り返しイベントの記憶、更新、リコールをサポートする連想メモリ間のインタラクションを通じて、このメカニズムを実現する。 実データと合成データセットに関する大規模な実験は、FSNetの新たなパターンと繰り返しパターンに対する有効性と堅牢性を検証する。 私たちのコードは公開されます。

関連論文リスト

• Adaptive control of recurrent neural networks using conceptors [1.9686770963118383]
  リカレントニューラルネットワークは複雑な高次元の時間パターンの予測と生成に優れる。 機械学習の設定では、ネットワークのパラメータはトレーニングフェーズ中に適応され、与えられたタスク/プロブレムの要求に適合する。 トレーニング後にもネットワークの一部を適応させることで,その機能や堅牢性が向上することを示す。
  論文  参考訳（メタデータ） (2024-05-12T09:58:03Z)
• Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
  概念の漂流に適応することは、機械学習において難しい課題である。 通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。 本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T08:47:46Z)
• Rapid Network Adaptation: Learning to Adapt Neural Networks Using Test-Time Feedback [12.946419909506883]
  テスト時間フィードバック信号を用いてネットワークをオンザフライで適応するクローズドループシステムを構築した。 本稿では,このループを学習型関数を用いて効果的に実装し,ネットワークに対する償却を実現する方法を提案する。 これにより、Rapid Network Adaptation (RNA) と呼ばれる適応手法が実現され、ベースラインよりも柔軟で桁違いに高速になる。
  論文  参考訳（メタデータ） (2023-09-27T16:20:39Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Online learning of windmill time series using Long Short-term Cognitive Networks [58.675240242609064]
  風車農場で生成されたデータの量は、オンライン学習が従うべき最も有効な戦略となっている。 我々はLong Short-term Cognitive Networks (LSTCNs) を用いて、オンライン環境での風車時系列を予測する。 提案手法は,単純なRNN,長期記憶,Gated Recurrent Unit,Hidden Markov Modelに対して最も低い予測誤差を報告した。
  論文  参考訳（メタデータ） (2021-07-01T13:13:24Z)
• Revisiting the double-well problem by deep learning with a hybrid network [7.308730248177914]
  本稿では,lstmとresnetの2種類のニューラルネットワークを統合するハイブリッドネットワークを提案する。 このようなハイブリッドネットワークは、空間的または時間的変調が速いシステムにおける協調ダイナミクスの解決に応用できる。
  論文  参考訳（メタデータ） (2021-04-25T07:51:43Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling [7.859988850911321]
  Sparse Meta Networksは、ディープニューラルネットワークのオンラインシーケンシャル適応アルゴリズムを学習するためのメタ学習アプローチである。 層固有の高速メモリでディープニューラルネットワークを強化する。 様々な逐次適応シナリオにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2020-09-03T17:06:52Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。