論文の概要: Echo State Networks trained by Tikhonov least squares are L2({\mu}) approximators of ergodic dynamical systems

• arxiv url: http://arxiv.org/abs/2005.06967v2
• Date: Thu, 18 Feb 2021 16:23:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 04:48:00.241923
• Title: Echo State Networks trained by Tikhonov least squares are L2({\mu}) approximators of ergodic dynamical systems
• Title（参考訳）: チコノフ最小二乗法で訓練されたエコー状態ネットワークはエルゴード力学系のL2({\mu})近似器である
• Authors: Allen G Hart and James L Hook and Jonathan H P Dawes
• Abstract要約: Echo State Networks (ESNs) は、ランダムに生成される内部重みと調整可能な外重みの単一重みを持つ単層リカレントニューラルネットワークのクラスである。 注目すべきは、トレーニング手順が完全に線形であるにもかかわらず、ESNは依然として普遍近似特性を享受していることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Echo State Networks (ESNs) are a class of single-layer recurrent neural networks with randomly generated internal weights, and a single layer of tuneable outer weights, which are usually trained by regularised linear least squares regression. Remarkably, ESNs still enjoy the universal approximation property despite the training procedure being entirely linear. In this paper, we prove that an ESN trained on a sequence of observations from an ergodic dynamical system (with invariant measure $\mu$) using Tikhonov least squares regression against a set of targets, will approximate the target function in the $L^2(\mu)$ norm. In the special case that the targets are future observations, the ESN is learning the next step map, which allows time series forecasting. We demonstrate the theory numerically by training an ESN using Tikhonov least squares on a sequence of scalar observations of the Lorenz system.
• Abstract（参考訳）: Echo State Networks (ESN) は、ランダムに生成される内部重みを持つ単一層リカレントニューラルネットワークのクラスであり、調整可能な外重みの単一層であり、通常は正規化された線形最小二乗回帰によって訓練される。 興味深いことに、ESNはトレーニング手順が完全に線形であるにもかかわらず、普遍的な近似特性を享受している。 本稿では、Tikhonov最小二乗回帰を用いたエルゴード力学系から(不変測度$\mu$)の観測列に基づいて訓練されたESNが、目標の集合に対してターゲット関数を近似して$L^2(\mu)$ノルムを証明した。 目標が将来の観測である特別な場合、ESNは時系列予測を可能にする次のステップマップを学習している。 ロレンツ系のスカラー観測の列上で、ティホノフ最小二乗法を用いてesnを訓練することにより、理論を数値的に示す。

関連論文リスト

• Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
  本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。 我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。 数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-06-21T03:21:22Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Bayesian Perceptron: Towards fully Bayesian Neural Networks [5.5510642465908715]
  パーセプトロンのトレーニングと予測は、閉形式のベイズ推論フレームワーク内で実行される。 パーセプトロンの重みと予測はガウス確率変数と見なされる。 このアプローチは計算に高価な勾配計算を必要とせず、さらにシーケンシャルな学習を可能にする。
  論文  参考訳（メタデータ） (2020-09-03T15:08:49Z)
• Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
  タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。 本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
  論文  参考訳（メタデータ） (2020-07-06T01:02:23Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer [5.969858080492586]
  重みをランダムに選択し、終端層のみをトレーニングする1次元(浅)ReLUニューラルネットワークを考える。 そのようなネットワークにおいて、L2-正則化回帰は関数空間において、かなり一般の損失汎関数に対する推定の第2微分を正則化するために対応することを示す。
  論文  参考訳（メタデータ） (2019-11-07T13:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。