論文の概要: Edge of stability echo state networks
- arxiv url: http://arxiv.org/abs/2308.02902v2
- Date: Sun, 3 Sep 2023 05:53:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 03:47:02.890979
- Title: Edge of stability echo state networks
- Title（参考訳）: 安定エコー状態ネットワークのエッジ
- Authors: Andrea Ceni, Claudio Gallicchio
- Abstract要約: Echo State Networks (ESN) は、Echo State Property (ESP) の原則の下で動作する時系列処理モデルである。
We introduced a new ESN architecture, the Edge of stability Echo State Network (ES$2$N)
- 参考スコア（独自算出の注目度）: 5.888495030452654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Echo State Networks (ESNs) are time-series processing models working under
the Echo State Property (ESP) principle. The ESP is a notion of stability that
imposes an asymptotic fading of the memory of the input. On the other hand, the
resulting inherent architectural bias of ESNs may lead to an excessive loss of
information, which in turn harms the performance in certain tasks with long
short-term memory requirements. With the goal of bringing together the fading
memory property and the ability to retain as much memory as possible, in this
paper we introduce a new ESN architecture, called the Edge of Stability Echo
State Network (ES$^2$N). The introduced ES$^2$N model is based on defining the
reservoir layer as a convex combination of a nonlinear reservoir (as in the
standard ESN), and a linear reservoir that implements an orthogonal
transformation. We provide a thorough mathematical analysis of the introduced
model, proving that the whole eigenspectrum of the Jacobian of the ES$^2$N map
can be contained in an annular neighbourhood of a complex circle of
controllable radius, and exploit this property to demonstrate that the
ES$^2$N's forward dynamics evolves close to the edge-of-chaos regime by design.
Remarkably, our experimental analysis shows that the newly introduced reservoir
model is able to reach the theoretical maximum short-term memory capacity. At
the same time, in comparison to standard ESN, ES$^2$N is shown to offer an
excellent trade-off between memory and nonlinearity, as well as a significant
improvement of performance in autoregressive nonlinear modeling.
- Abstract（参考訳）: Echo State Networks (ESN) は、Echo State Property (ESP) の原則の下で動作する時系列処理モデルである。
ESPは安定性の概念であり、入力の記憶が漸近的に暗くなる。
一方、ESNの結果として生じるアーキテクチャ上のバイアスは、情報の過剰な損失を招き、長い短期記憶要求のあるタスクのパフォーマンスを損なう可能性がある。
本稿では, フェージングメモリ特性と, できるだけ多くのメモリを保持できることを目標として, 安定エコー状態ネットワーク(ES$2$N)と呼ばれる新しいESNアーキテクチャを導入する。
導入されたES$2$Nモデルは、(標準ESNのような)非線形貯水池と直交変換を実装する線形貯水池の凸結合として貯水池層を定義することに基づいている。
我々は、導入されたモデルの数学的解析を行い、ES$2$N写像のヤコビアン全体の固有スペクトルが、制御可能な半径の複素円の環状近傍に含まれることを証明し、この性質を利用して、ES$2$Nのフォワードダイナミクスが設計によってカオスのエッジに近づくことを証明した。
また,本実験により,新たに導入された貯水池モデルにより,理論上の短期記憶容量が最大となることを示す。
同時に、ES$^2$N は、標準 ESN と比較して、メモリと非線形性の間に優れたトレードオフを提供するとともに、自己回帰非線形モデリングの性能を著しく向上することを示した。
関連論文リスト
- Echo State network for coarsening dynamics of charge density waves [0.0]
エコー状態ネットワーク(英語: echo state network, ESN)は、疎結合層を持つリカレントニューラルネットワークを用いた貯水池型コンピュータである。
ここでは、半古典的なホルシュタインモデルにおいて電荷密度波(CDW)の粗大化ダイナミクスをモデル化するためのESNを構築する。
論文 参考訳（メタデータ） (2024-12-16T17:04:10Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis [16.893624100273108]
教師付き学習環境において,勾配降下を訓練した斜め隠れ重み行列を用いた繰り返しニューラルネットワークの解析を行った。
我々は,パラメータ化を伴わずに勾配降下が最適性を実現することを証明した。
この結果は、繰り返しニューラルネットワークによって近似および学習できる力学系のクラスを明示的に評価することに基づいている。
論文 参考訳（メタデータ） (2024-02-19T15:56:43Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - StEik: Stabilizing the Optimization of Neural Signed Distance Functions
and Finer Shape Representation [12.564019188842861]
ネットワークの表現力が増加するにつれて、最適化は連続極限における偏微分方程式(PDE)に近づき、不安定となることを示す。
この不安定性は, 既設のネットワーク最適化において発現し, 再構成表面の不規則性や, あるいは局所最小値への収束に繋がることを示す。
アイコナル不安定性に反するが、過剰規則化を伴わない新しい正規化項を導入する。
論文 参考訳（メタデータ） (2023-05-28T18:27:15Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Second-order regression models exhibit progressive sharpening to the
edge of stability [30.92413051155244]
2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。
より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
論文 参考訳（メタデータ） (2022-10-10T17:21:20Z) - Euler State Networks: Non-dissipative Reservoir Computing [3.55810827129032]
我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。
我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。
時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
論文 参考訳（メタデータ） (2022-03-17T15:18:34Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。