論文の概要: Robust Optimization and Validation of Echo State Networks for learning
chaotic dynamics
- arxiv url: http://arxiv.org/abs/2103.03174v1
- Date: Tue, 9 Feb 2021 22:24:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-13 14:51:03.018022
- Title: Robust Optimization and Validation of Echo State Networks for learning
chaotic dynamics
- Title（参考訳）: カオスダイナミクス学習のためのエコー状態ネットワークのロバスト最適化と検証
- Authors: Alberto Racca and Luca Magri
- Abstract要約: カオス解の時間精度予測へのアプローチは、データから時間パターンを学ぶことである。
既存の研究では、ハイパーパラメータの小さな変更がネットワークの性能に顕著に影響を及ぼすことが示されている。
本稿では,カオス解の時間的精度を予測するために,エコー状態ネットワークのロバスト性を評価し,改善することを目的とする。
- 参考スコア（独自算出の注目度）: 6.345523830122166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An approach to the time-accurate prediction of chaotic solutions is by
learning temporal patterns from data. Echo State Networks (ESNs), which are a
class of Reservoir Computing, can accurately predict the chaotic dynamics well
beyond the predictability time. Existing studies, however, also showed that
small changes in the hyperparameters may markedly affect the network's
performance. The aim of this paper is to assess and improve the robustness of
Echo State Networks for the time-accurate prediction of chaotic solutions. The
goal is three-fold. First, we investigate the robustness of routinely used
validation strategies. Second, we propose the Recycle Validation, and the
chaotic versions of existing validation strategies, to specifically tackle the
forecasting of chaotic systems. Third, we compare Bayesian optimization with
the traditional Grid Search for optimal hyperparameter selection. Numerical
tests are performed on two prototypical nonlinear systems that have both
chaotic and quasiperiodic solutions. Both model-free and model-informed Echo
State Networks are analysed. By comparing the network's robustness in learning
chaotic versus quasiperiodic solutions, we highlight fundamental challenges in
learning chaotic solutions. The proposed validation strategies, which are based
on the dynamical systems properties of chaotic time series, are shown to
outperform the state-of-the-art validation strategies. Because the strategies
are principled-they are based on chaos theory such as the Lyapunov time-they
can be applied to other Recurrent Neural Networks architectures with little
modification. This work opens up new possibilities for the robust design and
application of Echo State Networks, and Recurrent Neural Networks, to the
time-accurate prediction of chaotic systems.
- Abstract（参考訳）: カオス解の時間精度予測へのアプローチは、データから時間パターンを学ぶことである。
貯留層計算のクラスであるエコー状態ネットワーク(esns)は、予測可能性時間を超えてカオスダイナミクスを正確に予測することができる。
しかし、既存の研究では、ハイパーパラメーターの小さな変化がネットワークのパフォーマンスに顕著に影響を及ぼすことも示されている。
本稿では,カオス解の時間的精度を予測するために,エコー状態ネットワークのロバスト性を評価し,改善することを目的とする。
目標は3倍です。
まず,日常的に用いられる検証戦略の堅牢性について検討する。
第2に, カオスシステムの予測に具体的に取り組むために, リサイクル検証, 既存の検証戦略のカオス版を提案する。
第3に,ベイズ最適化と従来のグリッド探索との比較を行った。
カオス解と準周期解を持つ2つの原型非線形系について数値実験を行う。
モデルフリーとモデルインフォームドの両方のエコー状態ネットワークを解析する。
カオス解と準周期解の学習におけるネットワークの頑健性を比較することで,カオス解の学習における根本的な課題を浮き彫りにする。
カオス時系列の動的システム特性に基づいて提案された検証戦略は、最先端の検証戦略を上回ることが示されています。
戦略は原則的であるため、リアプノフ時間理論のようなカオス理論に基づいており、変更の少ない他のリカレントニューラルネットワークアーキテクチャにも適用することができる。
この研究は、エコー状態ネットワークとリカレントニューラルネットワークのロバストな設計と応用のための新たな可能性を開き、カオスシステムの時間的正確性を予測する。
関連論文リスト
- Improved deep learning of chaotic dynamical systems with multistep penalty losses [0.0]
カオスシステムの長期的な振る舞いを予測することは、依然として恐ろしい課題である。
本稿では,最近提案された多段階ペナルティ演算子を活用することで,これらの課題に対処する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2024-10-08T00:13:57Z) - Comprehensive Analysis of Network Robustness Evaluation Based on Convolutional Neural Networks with Spatial Pyramid Pooling [4.366824280429597]
複雑なネットワークを理解し、最適化し、修復するための重要な側面である接続性の堅牢性は、伝統的にシミュレーションを通じて評価されてきた。
空間ピラミッドプールネットワーク(SPP-net)を用いた畳み込みニューラルネットワーク(CNN)モデルの設計により,これらの課題に対処する。
提案したCNNモデルは,全ての除去シナリオにおいて,攻撃曲線とロバストネスの両値の正確な評価を一貫して達成していることを示す。
論文 参考訳（メタデータ） (2023-08-10T09:54:22Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。
前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。
提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
論文 参考訳（メタデータ） (2022-05-13T21:09:41Z) - A Learning Convolutional Neural Network Approach for Network Robustness
Prediction [13.742495880357493]
ネットワークの堅牢性は、様々な社会的・産業的ネットワークにとって再び悪意ある攻撃にとって重要である。
本稿では,畳み込みニューラルネットワーク(LFR-CNN)を用いた学習特徴表現に基づくネットワークロバスト性予測の改良手法を提案する。
このスキームでは、高次元のネットワークデータを低次元の表現に圧縮し、CNNに渡してロバストネス予測を行う。
論文 参考訳（メタデータ） (2022-03-20T13:45:55Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳（メタデータ） (2022-02-23T18:23:07Z) - Revisiting the double-well problem by deep learning with a hybrid
network [7.308730248177914]
本稿では,lstmとresnetの2種類のニューラルネットワークを統合するハイブリッドネットワークを提案する。
このようなハイブリッドネットワークは、空間的または時間的変調が速いシステムにおける協調ダイナミクスの解決に応用できる。
論文 参考訳（メタデータ） (2021-04-25T07:51:43Z) - Adversarial Refinement Network for Human Motion Prediction [61.50462663314644]
リカレントニューラルネットワークとフィードフォワードディープネットワークという2つの一般的な手法は、粗い動きの傾向を予測することができる。
本稿では,新たな逆誤差増大を伴う簡易かつ効果的な粗大きめ機構に従えば,ARNet(Adversarial Refinement Network)を提案する。
論文 参考訳（メタデータ） (2020-11-23T05:42:20Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳（メタデータ） (2020-10-08T20:25:52Z) - DANR: Discrepancy-aware Network Regularization [15.239252118069762]
ネットワーク正規化は、ネットワーク上のコヒーレントモデルを学習するための効果的なツールである。
本稿では,正規化が不十分で,時間的ネットワーク上でのモデル進化と構造変化を効果的に捉える新しい手法を提案する。
本研究では,乗算器の交互化法(ADMM)に基づくスケーラブルでスケーラブルなアルゴリズムを開発し,大域的最適解への収束を保証する。
論文 参考訳（メタデータ） (2020-05-31T02:01:19Z) - Dynamic Inference: A New Approach Toward Efficient Video Action
Recognition [69.9658249941149]
ビデオにおけるアクション認識は近年大きな成功を収めているが、膨大な計算コストのために依然として難しい課題である。
本稿では,異なるビデオの識別可能性の変動を利用して,推論効率を向上させるための一般的な動的推論手法を提案する。
論文 参考訳（メタデータ） (2020-02-09T11:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。