論文の概要: Towards a Comprehensive Theory of Reservoir Computing

• arxiv url: http://arxiv.org/abs/2511.14484v1
• Date: Tue, 18 Nov 2025 13:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.134228
• Title: Towards a Comprehensive Theory of Reservoir Computing
• Title（参考訳）: 貯留層コンピューティングの総合理論に向けて
• Authors: Denis Kleyko, Christopher J. Kymn, E. Paxon Frady, Amy Loutfi, Friedrich T. Sommer,
• Abstract要約: エコー状態ネットワーク(ESN)は、貯水池が従来の人工ニューラルネットワークであるモデルクラスである。 ESNモデルのメモリ容量と精度を予測するために,近年のパーセプトロン理論が発展していることを示す。 本稿では,トレーニングを必要とせず,トレーニングなしで従来のESNモデルよりも優れた読み出しネットワークを備えた新しいESNモデルを提案する。
• 参考スコア（独自算出の注目度）: 8.503618428089272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reservoir computing, an input sequence is processed by a recurrent neural network, the reservoir, which transforms it into a spatial pattern that a shallow readout network can then exploit for tasks such as memorization and time-series prediction or classification. Echo state networks (ESN) are a model class in which the reservoir is a traditional artificial neural network. This class contains many model types, each with sets of hyperparameters. Selecting models and parameter settings for particular applications requires a theory for predicting and comparing performances. Here, we demonstrate that recent developments of perceptron theory can be used to predict the memory capacity and accuracy of a wide variety of ESN models, including reservoirs with linear neurons, sigmoid nonlinear neurons, different types of recurrent matrices, and different types of readout networks. Across thirty variants of ESNs, we show that empirical results consistently confirm the theory's predictions. As a practical demonstration, the theory is used to optimize memory capacity of an ESN in the entire joint parameter space. Further, guided by the theory, we propose a novel ESN model with a readout network that does not require training, and which outperforms earlier ESN models without training. Finally, we characterize the geometry of the readout networks in ESNs, which reveals that many ESN models exhibit a similar regular simplex geometry as has been observed in the output weights of deep neural networks.
• Abstract（参考訳）: 貯水池計算では、入力シーケンスはリカレントニューラルネットワーク、貯水池によって処理され、浅い読み出しネットワークが記憶や時系列予測や分類などのタスクに活用できる空間パターンに変換される。 エコー状態ネットワーク(ESN)は、貯水池が従来の人工ニューラルネットワークであるモデルクラスである。 このクラスは多くのモデル型を含み、それぞれにハイパーパラメーターのセットがある。 特定のアプリケーションのモデルとパラメータ設定を選択するには、性能を予測し比較する理論が必要である。 本稿では,近年のパーセプトロン理論の進歩により,線形ニューロンを持つ貯留層,シグモイド非線形ニューロン,異なる種類のリカレント行列,異なる種類の読み出し網を含む多種多様なESNモデルのメモリ容量と精度を予測することができることを示す。 ESNの30種類の変種に対して、実験結果が一貫して理論の予測を裏付けていることが示されている。 実演として、この理論は、関節パラメータ空間全体におけるESNのメモリ容量を最適化するために用いられる。 さらに,本理論により,トレーニングを必要とせず,トレーニングなしで従来のESNモデルよりも優れた読み出しネットワークを備えた新しいESNモデルを提案する。 最後に,ESNの読み出し網の形状を特徴付け,深部ニューラルネットワークの出力重みで観測されたような正則な正則な幾何学を多くのESNモデルで示していることを示す。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
  本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。 ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。 ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
  論文  参考訳（メタデータ） (2024-01-14T02:30:19Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Neural net modeling of equilibria in NSTX-U [0.0]
  我々は平衡モデルと形状制御モデルに関連する2つのニューラルネットワークを開発する。 ネットワークにはEFIT01再構成アルゴリズムでトレーニングされた自由境界均衡解法であるEqnetと、Gspert符号でトレーニングされたPertnetが含まれる。 本報告では,これらのモデルが閉ループシミュレーションで確実に使用できることを示す。
  論文  参考訳（メタデータ） (2022-02-28T16:09:58Z)
• SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
  Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。 従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
  論文  参考訳（メタデータ） (2021-02-25T17:45:50Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Perceptron Theory Can Predict the Accuracy of Neural Networks [6.136302173351179]
  多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。 しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。 本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
  論文  参考訳（メタデータ） (2020-12-14T19:02:26Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。