論文の概要: Euler State Networks: Non-dissipative Reservoir Computing

• arxiv url: http://arxiv.org/abs/2203.09382v3
• Date: Fri, 24 Mar 2023 15:18:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 18:48:51.390976
• Title: Euler State Networks: Non-dissipative Reservoir Computing
• Title（参考訳）: Euler State Networks - 非散逸型貯留層コンピューティング
• Authors: Claudio Gallicchio
• Abstract要約: 我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。 我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。 時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
• 参考スコア（独自算出の注目度）: 3.55810827129032
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inspired by the numerical solution of ordinary differential equations, in this paper we propose a novel Reservoir Computing (RC) model, called the Euler State Network (EuSN). The presented approach makes use of forward Euler discretization and antisymmetric recurrent matrices to design reservoir dynamics that are both stable and non-dissipative by construction. Our mathematical analysis shows that the resulting model is biased towards a unitary effective spectral radius and zero local Lyapunov exponents, intrinsically operating near to the edge of stability. Experiments on long-term memory tasks show the clear superiority of the proposed approach over standard RC models in problems requiring effective propagation of input information over multiple time-steps. Furthermore, results on time-series classification benchmarks indicate that EuSN is able to match (or even exceed) the accuracy of trainable Recurrent Neural Networks, while retaining the training efficiency of the RC family, resulting in up to $\approx$ 490-fold savings in computation time and $\approx$ 1750-fold savings in energy consumption.
• Abstract（参考訳）: 本稿では, 常微分方程式の数値解に着想を得て, オイラー状態ネットワーク(EuSN)と呼ばれる新しい貯留層計算(RC)モデルを提案する。 提案手法は, 構造によって安定かつ非散逸性を有する貯留層ダイナミクスを設計するために, 前方オイラー離散化と反対称再帰行列を用いる。 我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。 長期記憶課題実験の結果,複数の時間ステップにわたる入力情報の効果的な伝播を必要とする問題において,標準rcモデルよりも提案手法が優れていることが明らかとなった。 さらに、時系列分類ベンチマークの結果から、eusnは、rcファミリーのトレーニング効率を保ちながら、トレーニング可能なリカレントニューラルネットワークの精度をマッチ(あるいは超過)することができ、計算時間の最大490倍の節約と、エネルギー消費量の約1750倍の節約が可能であることが示されている。

関連論文リスト

• Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
  本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。 我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。 数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-06-21T03:21:22Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
  重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Composite FORCE learning of chaotic echo state networks for time-series prediction [7.650966670809372]
  本稿では,初期活動が自然にカオスなESNを学習するための複合Force学習法を提案する。 その結果,従来の手法に比べて学習性能と予測性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-07-06T03:44:09Z)
• Unsupervised Reservoir Computing for Solving Ordinary Differential Equations [1.6371837018687636]
  通常の微分方程式(ODE)を満たす近似解を発見することができるエコー状態のリカレントニューラルネットワーク ベイジアン最適化を用いて高次元ハイパーパラメータ空間における最適集合を効率よく発見し、1つの集合がロバストであり、異なる初期条件と時間範囲のODEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-08-25T18:16:42Z)
• Hierarchical Deep Learning of Multiscale Differential Equation Time-Steppers [5.6385744392820465]
  本研究では,時間スケールの異なる範囲にわたる動的システムのフローマップを近似するために,ディープニューラルネットワークの時間ステップ階層を構築した。 結果のモデルは純粋にデータ駆動であり、マルチスケールのダイナミックスの特徴を活用する。 我々は,LSTM,貯水池計算,クロックワークRNNなどの最先端手法に対して,我々のアルゴリズムをベンチマークする。
  論文  参考訳（メタデータ） (2020-08-22T07:16:53Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。