論文の概要: Edge of stability echo state networks
- arxiv url: http://arxiv.org/abs/2308.02902v1
- Date: Sat, 5 Aug 2023 15:49:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 17:57:17.922868
- Title: Edge of stability echo state networks
- Title（参考訳）: 安定エコー状態ネットワークのエッジ
- Authors: Andrea Ceni, Claudio Gallicchio
- Abstract要約: We propose a new Reservoir Computing (RC) architecture, called the Edge of stability Echo State Network (ES$2$N)。
我々は、導入されたモデルの数学的解析を行い、ES2N写像のヤコビアンの固有スペクトル全体が、制御可能な半径の複素円の環状近傍に含まれることを証明した。
また,本実験により,新たに導入された貯水池モデルにより,理論上の短期記憶容量の最大値に到達できることが示唆された。
- 参考スコア（独自算出の注目度）: 3.55810827129032
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a new Reservoir Computing (RC) architecture, called
the Edge of Stability Echo State Network (ES$^2$N). The introduced ES$^2$N
model is based on defining the reservoir layer as a convex combination of a
nonlinear reservoir (as in the standard ESN), and a linear reservoir that
implements an orthogonal transformation. We provide a thorough mathematical
analysis of the introduced model, proving that the whole eigenspectrum of the
Jacobian of the ES2N map can be contained in an annular neighbourhood of a
complex circle of controllable radius, and exploit this property to demonstrate
that the ES$^2$N's forward dynamics evolves close to the edge-of-chaos regime
by design. Remarkably, our experimental analysis shows that the newly
introduced reservoir model is able to reach the theoretical maximum short-term
memory capacity. At the same time, in comparison to standard ESN, ES$^2$N is
shown to offer a favorable trade-off between memory and nonlinearity, as well
as a significant improvement of performance in autoregressive nonlinear
modeling.
- Abstract（参考訳）: 本稿では,安定エコー状態ネットワーク (edge of stability echo state network, es$^2$n) と呼ばれる新しいリザーバコンピューティング (rc) アーキテクチャを提案する。
導入されたES$2$Nモデルは、(標準ESNのような)非線形貯水池と直交変換を実装する線形貯水池の凸結合として貯水池層を定義することに基づいている。
我々は、導入されたモデルの数学的解析を行い、ES2N写像のヤコビアンの固有スペクトル全体が、制御可能な半径の複素円の環状近傍に含まれることを証明し、この性質を利用して、ES$^2$Nのフォワードダイナミクスが設計によってカオスのエッジに近づきつつあることを示す。
また,本実験により,新たに導入された貯水池モデルにより,理論上の短期記憶容量が最大となることを示す。
同時に、ES$^2$N は、標準 ESN と比較して、メモリと非線形性の間の良好なトレードオフを提供するとともに、自己回帰非線形モデリングにおける性能を大幅に改善することを示した。
関連論文リスト
- Echo State network for coarsening dynamics of charge density waves [0.0]
エコー状態ネットワーク(英語: echo state network, ESN)は、疎結合層を持つリカレントニューラルネットワークを用いた貯水池型コンピュータである。
ここでは、半古典的なホルシュタインモデルにおいて電荷密度波(CDW)の粗大化ダイナミクスをモデル化するためのESNを構築する。
論文 参考訳（メタデータ） (2024-12-16T17:04:10Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Convergence of Gradient Descent for Recurrent Neural Networks: A Nonasymptotic Analysis [16.893624100273108]
教師付き学習環境において,勾配降下を訓練した斜め隠れ重み行列を用いた繰り返しニューラルネットワークの解析を行った。
我々は,パラメータ化を伴わずに勾配降下が最適性を実現することを証明した。
この結果は、繰り返しニューラルネットワークによって近似および学習できる力学系のクラスを明示的に評価することに基づいている。
論文 参考訳（メタデータ） (2024-02-19T15:56:43Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - StEik: Stabilizing the Optimization of Neural Signed Distance Functions
and Finer Shape Representation [12.564019188842861]
ネットワークの表現力が増加するにつれて、最適化は連続極限における偏微分方程式(PDE)に近づき、不安定となることを示す。
この不安定性は, 既設のネットワーク最適化において発現し, 再構成表面の不規則性や, あるいは局所最小値への収束に繋がることを示す。
アイコナル不安定性に反するが、過剰規則化を伴わない新しい正規化項を導入する。
論文 参考訳（メタデータ） (2023-05-28T18:27:15Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Second-order regression models exhibit progressive sharpening to the
edge of stability [30.92413051155244]
2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。
より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
論文 参考訳（メタデータ） (2022-10-10T17:21:20Z) - Euler State Networks: Non-dissipative Reservoir Computing [3.55810827129032]
我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。
我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。
時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
論文 参考訳（メタデータ） (2022-03-17T15:18:34Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。