論文の概要: Continual Learning of Dynamical Systems with Competitive Federated Reservoir Computing

• arxiv url: http://arxiv.org/abs/2206.13336v1
• Date: Mon, 27 Jun 2022 14:35:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 19:36:19.380990
• Title: Continual Learning of Dynamical Systems with Competitive Federated Reservoir Computing
• Title（参考訳）: 競合フェデレーション型貯留層計算を用いた動的システムの連続学習
• Authors: Leonard Bereska and Efstratios Gavves
• Abstract要約: 継続的な学習は、以前の動的体制なしで急激なシステム変更に迅速に適応することを目的としている。 本研究は,連続学習に基づく貯水池計算へのアプローチを提案する。 このマルチヘッド貯水池は、複数の力学系における干渉や忘れを最小化する。
• 参考スコア（独自算出の注目度）: 29.98127520773633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning recently proved efficient in learning differential equations and dynamical systems from data. However, the data is commonly assumed to originate from a single never-changing system. In contrast, when modeling real-world dynamical processes, the data distribution often shifts due to changes in the underlying system dynamics. Continual learning of these processes aims to rapidly adapt to abrupt system changes without forgetting previous dynamical regimes. This work proposes an approach to continual learning based on reservoir computing, a state-of-the-art method for training recurrent neural networks on complex spatiotemporal dynamical systems. Reservoir computing fixes the recurrent network weights - hence these cannot be forgotten - and only updates linear projection heads to the output. We propose to train multiple competitive prediction heads concurrently. Inspired by neuroscience's predictive coding, only the most predictive heads activate, laterally inhibiting and thus protecting the inactive heads from forgetting induced by interfering parameter updates. We show that this multi-head reservoir minimizes interference and catastrophic forgetting on several dynamical systems, including the Van-der-Pol oscillator, the chaotic Lorenz attractor, and the high-dimensional Lorenz-96 weather model. Our results suggest that reservoir computing is a promising candidate framework for the continual learning of dynamical systems. We provide our code for data generation, method, and comparisons at \url{https://github.com/leonardbereska/multiheadreservoir}.
• Abstract（参考訳）: 機械学習は、データから微分方程式や力学系を学ぶのに効果的であることが最近証明された。 しかし、データは単一の変化しないシステムに由来すると一般的に考えられている。 対照的に、現実世界の動的プロセスのモデリングでは、基盤となるシステムダイナミクスの変化によってデータ分布が変化することが多い。 これらのプロセスの継続的な学習は、以前の動的体制を忘れずに、突然のシステム変更に迅速に適応することを目的としている。 本研究では, 複雑な時空間力学系上でのリカレントニューラルネットワークのトレーニング手法である貯水池計算に基づく連続学習手法を提案する。 貯留層計算は、繰り返し発生するネットワークの重み(したがってこれらは忘れられない)を修正し、線形射影ヘッドのみを出力に更新する。 我々は複数の競合予測ヘッドを同時に訓練することを提案する。 神経科学の予測的コーディングに触発されて、最も予測的な頭部のみが活性化し、左右に抑制され、パラメータ更新を干渉することで不活性な頭部が引き起こされるのを防いでいる。 本稿では,Van-der-Pol発振器,カオスロレンツ誘引器,高次元ロレンツ-96気象モデルなど,いくつかの力学系における干渉や破滅的な忘れを最小化できることを示す。 その結果,リザーバコンピューティングは,動的システムの継続的な学習に有望なフレームワークであることが示唆された。 我々は、データ生成、メソッド、比較のためのコードを \url{https://github.com/leonardbereska/multiheadreservoir} で提供します。

関連論文リスト

• Learning System Dynamics without Forgetting [60.08612207170659]
  未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。 本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。 生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• Divide And Conquer: Learning Chaotic Dynamical Systems With Multistep Penalty Neural Ordinary Differential Equations [0.0]
  多段階ペナルティ・ヌードは, 倉本・シヴァシュ・コリンスキー方程式, 2次元コルモゴロフ流, ERA5再解析データなどのカオスシステムに適用される。 計算コストを著しく低減したカオスシステムに対してMPODEが実行可能な性能を提供することが観察された。
  論文  参考訳（メタデータ） (2024-06-30T02:50:28Z)
• Controlling dynamical systems to complex target states using machine learning: next-generation vs. classical reservoir computing [68.8204255655161]
  機械学習を用いた非線形力学系の制御は、システムを周期性のような単純な振る舞いに駆動するだけでなく、より複雑な任意の力学を駆動する。 まず, 従来の貯水池計算が優れていることを示す。 次のステップでは、これらの結果を異なるトレーニングデータに基づいて比較し、代わりに次世代貯水池コンピューティングを使用する別のセットアップと比較する。 その結果、通常のトレーニングデータに対して同等のパフォーマンスを提供する一方で、次世代RCは、非常に限られたデータしか利用できない状況において、著しくパフォーマンスが向上していることがわかった。
  論文  参考訳（メタデータ） (2023-07-14T07:05:17Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• Learning unseen coexisting attractors [0.0]
  貯留層コンピューティング(Reservoir computing)は、動的システムの代理モデルを生成する機械学習アプローチである。 ここでは、異なる時間スケールと複数の共存する動的状態(トラクター)の両方を持つ力学系を学習する際の課題について研究する。 次世代貯水池コンピューティングアプローチでは、トレーニングデータが少ない$sim 1.7倍、短いウォームアップ時間が必要な$103倍、既存のアトラクタ特性を予測する上で、$sim 100times$高い精度を持つことを示す。
  論文  参考訳（メタデータ） (2022-07-28T14:55:14Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。