論文の概要: Edge of stability echo state networks
- arxiv url: http://arxiv.org/abs/2308.02902v2
- Date: Sun, 3 Sep 2023 05:53:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 03:47:02.890979
- Title: Edge of stability echo state networks
- Title(参考訳): 安定エコー状態ネットワークのエッジ
- Authors: Andrea Ceni, Claudio Gallicchio
- Abstract要約: Echo State Networks (ESN) は、Echo State Property (ESP) の原則の下で動作する時系列処理モデルである。
We introduced a new ESN architecture, the Edge of stability Echo State Network (ES$2$N)
- 参考スコア(独自算出の注目度): 5.888495030452654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Echo State Networks (ESNs) are time-series processing models working under
the Echo State Property (ESP) principle. The ESP is a notion of stability that
imposes an asymptotic fading of the memory of the input. On the other hand, the
resulting inherent architectural bias of ESNs may lead to an excessive loss of
information, which in turn harms the performance in certain tasks with long
short-term memory requirements. With the goal of bringing together the fading
memory property and the ability to retain as much memory as possible, in this
paper we introduce a new ESN architecture, called the Edge of Stability Echo
State Network (ES$^2$N). The introduced ES$^2$N model is based on defining the
reservoir layer as a convex combination of a nonlinear reservoir (as in the
standard ESN), and a linear reservoir that implements an orthogonal
transformation. We provide a thorough mathematical analysis of the introduced
model, proving that the whole eigenspectrum of the Jacobian of the ES$^2$N map
can be contained in an annular neighbourhood of a complex circle of
controllable radius, and exploit this property to demonstrate that the
ES$^2$N's forward dynamics evolves close to the edge-of-chaos regime by design.
Remarkably, our experimental analysis shows that the newly introduced reservoir
model is able to reach the theoretical maximum short-term memory capacity. At
the same time, in comparison to standard ESN, ES$^2$N is shown to offer an
excellent trade-off between memory and nonlinearity, as well as a significant
improvement of performance in autoregressive nonlinear modeling.
- Abstract(参考訳): Echo State Networks (ESN) は、Echo State Property (ESP) の原則の下で動作する時系列処理モデルである。
ESPは安定性の概念であり、入力の記憶が漸近的に暗くなる。
一方、ESNの結果として生じるアーキテクチャ上のバイアスは、情報の過剰な損失を招き、長い短期記憶要求のあるタスクのパフォーマンスを損なう可能性がある。
本稿では, フェージングメモリ特性と, できるだけ多くのメモリを保持できることを目標として, 安定エコー状態ネットワーク(ES$2$N)と呼ばれる新しいESNアーキテクチャを導入する。
導入されたES$2$Nモデルは、(標準ESNのような)非線形貯水池と直交変換を実装する線形貯水池の凸結合として貯水池層を定義することに基づいている。
我々は、導入されたモデルの数学的解析を行い、ES$2$N写像のヤコビアン全体の固有スペクトルが、制御可能な半径の複素円の環状近傍に含まれることを証明し、この性質を利用して、ES$2$Nのフォワードダイナミクスが設計によってカオスのエッジに近づくことを証明した。
また,本実験により,新たに導入された貯水池モデルにより,理論上の短期記憶容量が最大となることを示す。
同時に、ES$^2$N は、標準 ESN と比較して、メモリと非線形性の間に優れたトレードオフを提供するとともに、自己回帰非線形モデリングの性能を著しく向上することを示した。
関連論文リスト
- Convergence of Gradient Descent for Recurrent Neural Networks: A
Nonasymptotic Analysis [19.95757894913852]
我々は,動的システムの教師付き学習環境において,勾配降下を訓練した繰り返しニューラルネットワークを解析した。
我々は、$n$サンプルでトレーニングされた適切なd型リカレントニューラルネットワークが、$n$で対数的にのみスケールするネットワークサイズ$m$で最適性を達成できることを示します。
論文 参考訳(メタデータ) (2024-02-19T15:56:43Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Point-based Value Iteration for Neuro-Symbolic POMDPs [27.96140203850222]
ニューロシンボリックな部分観測可能なマルコフ決定過程(NS-POMDP)を紹介する。
NS-POMDPはニューラルネットワークを用いて連続状態環境を知覚し、象徴的な決定を行うエージェントをモデル化する。
連続状態モデルの構造を利用して有限表現性を保証する2つの値反復アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-30T13:26:08Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - StEik: Stabilizing the Optimization of Neural Signed Distance Functions
and Finer Shape Representation [12.564019188842861]
ネットワークの表現力が増加するにつれて、最適化は連続極限における偏微分方程式(PDE)に近づき、不安定となることを示す。
この不安定性は, 既設のネットワーク最適化において発現し, 再構成表面の不規則性や, あるいは局所最小値への収束に繋がることを示す。
アイコナル不安定性に反するが、過剰規則化を伴わない新しい正規化項を導入する。
論文 参考訳(メタデータ) (2023-05-28T18:27:15Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Second-order regression models exhibit progressive sharpening to the
edge of stability [30.92413051155244]
2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。
より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
論文 参考訳(メタデータ) (2022-10-10T17:21:20Z) - Euler State Networks: Non-dissipative Reservoir Computing [3.55810827129032]
我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。
我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。
時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
論文 参考訳(メタデータ) (2022-03-17T15:18:34Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳(メタデータ) (2021-06-28T00:14:11Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。