論文の概要: Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks

• arxiv url: http://arxiv.org/abs/2507.18467v1
• Date: Thu, 24 Jul 2025 14:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.819305
• Title: Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks
• Title（参考訳）: 契約・臨界・容量:Echo-State Networksにおける動的システムの視点から
• Authors: Pradeep Singh, Lavanya Sankaranarayanan, Balasubramanian Raman,
• Abstract要約: 本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず,大域リプシッツ力学とともにエコー状態特性(初期条件の洗い出し)がフェーディングメモリ特性をもたらすことを証明した。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、非線形貯水池と線形リードアウトを持つESNが、因果的、タイムイン・フェイディング・メモリ・フィルタのバナッハ空間に密着していることを示す。 第3に、メモリ容量スペクトルを用いて計算資源を定量化し、どのように示すかを示す。
• 参考スコア（独自算出の注目度）: 13.857230672081489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Echo-State Networks (ESNs) distil a key neurobiological insight: richly recurrent but fixed circuitry combined with adaptive linear read-outs can transform temporal streams with remarkable efficiency. Yet fundamental questions about stability, memory and expressive power remain fragmented across disciplines. We present a unified, dynamical-systems treatment that weaves together functional analysis, random attractor theory and recent neuroscientific findings. First, on compact multivariate input alphabets we prove that the Echo-State Property (wash-out of initial conditions) together with global Lipschitz dynamics necessarily yields the Fading-Memory Property (geometric forgetting of remote inputs). Tight algebraic tests translate activation-specific Lipschitz constants into certified spectral-norm bounds, covering both saturating and rectifying nonlinearities. Second, employing a Stone-Weierstrass strategy we give a streamlined proof that ESNs with polynomial reservoirs and linear read-outs are dense in the Banach space of causal, time-invariant fading-memory filters, extending universality to stochastic inputs. Third, we quantify computational resources via memory-capacity spectrum, show how topology and leak rate redistribute delay-specific capacities, and link these trade-offs to Lyapunov spectra at the \textit{edge of chaos}. Finally, casting ESNs as skew-product random dynamical systems, we establish existence of singleton pullback attractors and derive conditional Lyapunov bounds, providing a rigorous analogue to cortical criticality. The analysis yields concrete design rules-spectral radius, input gain, activation choice-grounded simultaneously in mathematics and neuroscience, and clarifies why modest-sized reservoirs often rival fully trained recurrent networks in practice.
• Abstract（参考訳）: エコー状態ネットワーク(ESN)は、重要な神経生物学的洞察を消し去る: リッチリカレントだが固定回路と適応線形リードアウトを組み合わせることで、時間的ストリームを顕著な効率で変換することができる。 しかし、安定性、記憶力、表現力に関する根本的な問題は、規律によって断片化されている。 本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず、コンパクトな多変量入力アルファベットにおいて、大域リプシッツ力学と共にエコー状態特性(初期条件の洗い出し)がファディング記憶特性(リモート入力の幾何学的忘れ方)をもたらすことを証明した。 厳密な代数的試験は、アクティベーション特異なリプシッツ定数を証明されたスペクトル-ノルム境界に変換し、飽和と整合性の両方の非線形性をカバーする。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、多項式貯水池と線形リードアウトを持つ ESN が、因果的、時間不変なフェイディングメモリフィルタのバナッハ空間において密接であり、普遍性を確率的な入力に拡張する、という合理化された証明を与える。 第三に、メモリ容量スペクトルを用いて計算資源を定量化し、トポロジとリークレートが遅延特性を再分配する方法を示し、これらのトレードオフをカオスのtextit{edge} の Lyapunov spectra にリンクする。 最後に、ESNを歪生成ランダムな力学系としてキャストし、単トン引き戻し引き込みと条件付きリャプノフ境界の導出の存在を確立し、皮質臨界に厳密な類似性を与える。 この分析により、具体的な設計規則-スペクトル半径、入力利得、アクティベーション選択を数学と神経科学で同時に行うことができ、なぜモデストサイズの貯水池が実際に完全に訓練されたリカレントネットワークと競合するのかを明らかにすることができる。

関連論文リスト

• Analysis of Fourier Neural Operators via Effective Field Theory [1.7102697561186413]
  無限次元関数空間におけるFNOの体系的実効場理論解析について述べる。 非線形活性化は、周波数入力をスペクトル乱れによって取り除かれる高周波モードに必然的に重複することを示す。
  論文  参考訳（メタデータ） (2025-07-29T14:10:46Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [58.018629320233174]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングダイナミクスを積極的に探求している。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Universal Approximation Theorem for Deep Q-Learning via FBSDE System [2.1756081703276]
  本稿では,Deep Q-Networks (DQN) のクラスに対する普遍近似理論を確立する。 関数空間上で作用するニューラル演算子として考えられたディープ残留ネットワークの層がベルマン作用素の作用を近似できることを示す。
  論文  参考訳（メタデータ） (2025-05-09T13:11:55Z)
• Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
  収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。 しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。 本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
  論文  参考訳（メタデータ） (2025-04-23T21:27:32Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Dynamics and Computational Principles of Echo State Networks: A Mathematical Perspective [13.135043580306224]
  貯留層計算(Reservoir Computing, RC)は、状態遷移機構(貯留層)と、状態空間からマップされるフレキシブルな読み出し層を特徴とする状態空間モデル(SSM)のクラスである。 本研究はRCの系統的な探索を行い, エコー状態特性, フェージングメモリ, 貯水池容量などの基礎的特性を動的システム理論のレンズを通して論じる。 入力信号と貯水池状態の相互作用を形式化し、貯水池の安定性と表現力を示す条件を示す。
  論文  参考訳（メタデータ） (2025-04-16T04:28:05Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Lipschitz constant estimation for 1D convolutional neural networks [0.0]
  本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。 特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
  論文  参考訳（メタデータ） (2022-11-28T12:09:06Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Symplectic Gaussian Process Dynamics [5.171909600633905]
  暗黙的なシングルまたはマルチステップインテグレータで基盤システムを識別できるスパースプロセスに基づく変分推論方式を提案する。 特に、シンプレクティック生成体積保存予測と結合したハミルトン問題について議論する。
  論文  参考訳（メタデータ） (2021-02-02T17:02:55Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。