論文の概要: A Review of Designs and Applications of Echo State Networks
- arxiv url: http://arxiv.org/abs/2012.02974v1
- Date: Sat, 5 Dec 2020 08:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 17:13:02.983858
- Title: A Review of Designs and Applications of Echo State Networks
- Title（参考訳）: エコー状態ネットワークの設計と応用
- Authors: Chenxi Sun and Moxian Song and Shenda Hong and Hongyan Li
- Abstract要約: Echo State Network(ESN)はシンプルなタイプのRNNであり、勾配降下トレーニングベースのRNNに代わるものとして、過去10年間に登場した。
ESNは、理論的な根拠が強く、実用的で、概念的にシンプルで、実装が容易である。
本稿では,EMSに基づく手法を基本ESN,DeepESN,および組み合わせに分類し,理論的研究,ネットワーク設計,特定の応用の観点から解析する。
- 参考スコア（独自算出の注目度）: 7.726185157436571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent Neural Networks (RNNs) have demonstrated their outstanding ability
in sequence tasks and have achieved state-of-the-art in wide range of
applications, such as industrial, medical, economic and linguistic. Echo State
Network (ESN) is simple type of RNNs and has emerged in the last decade as an
alternative to gradient descent training based RNNs. ESN, with a strong
theoretical ground, is practical, conceptually simple, easy to implement. It
avoids non-converging and computationally expensive in the gradient descent
methods. Since ESN was put forward in 2002, abundant existing works have
promoted the progress of ESN, and the recently introduced Deep ESN model opened
the way to uniting the merits of deep learning and ESNs. Besides, the
combinations of ESNs with other machine learning models have also overperformed
baselines in some applications. However, the apparent simplicity of ESNs can
sometimes be deceptive and successfully applying ESNs needs some experience.
Thus, in this paper, we categorize the ESN-based methods to basic ESNs,
DeepESNs and combinations, then analyze them from the perspective of
theoretical studies, network designs and specific applications. Finally, we
discuss the challenges and opportunities of ESNs by summarizing the open
questions and proposing possible future works.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンスタスクにおけるその卓越した能力を示し、産業、医療、経済、言語など幅広い分野で最先端の応用を実現してきた。
Echo State Network(ESN)はシンプルなタイプのRNNであり、勾配降下トレーニングベースのRNNに代わるものとして、過去10年間に登場した。
ESNは強力な理論的根拠を持ち、実用的で概念的にシンプルで実装が容易である。
非収束を回避し、勾配降下法では計算コストがかかる。
2002年にESNが施行されて以降、ESNの進歩が促進され、最近導入されたDeep ESNモデルは、深層学習とESNのメリットを一体化するための道を開いた。
さらに、他の機械学習モデルとESNの組み合わせは、いくつかのアプリケーションでベースラインをオーバーパフォーマンスしている。
しかし、ESNの明らかな単純さは、時に騙され、ESNをうまく適用するにはある程度の経験が必要である。
そこで本稿では,EMSに基づく手法を基本ESN,DeepESN,および組み合わせに分類し,理論的研究,ネットワーク設計,特定の応用の観点から解析する。
最後に,オープンな質問を要約し,将来的な作業を提案することで,ESNの課題と機会について議論する。
関連論文リスト
- SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network [39.54624592783459]
従来のニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が登場した。
本稿ではスパイクベースの計算におけるモダリティギャップを埋める新しいフレームワークであるSpikeCLIPを提案する。
論文 参考訳（メタデータ） (2023-10-10T09:57:17Z) - Scaling Model Checking for DNN Analysis via State-Space Reduction and
Input Segmentation (Extended Version) [12.272381003294026]
既存のフレームワークは、トレーニングされたNNに対して堅牢性と/または安全性を保証する。
我々は、広範囲のNNプロパティを分析するための最初のモデルチェックベースのフレームワークであるFANNetを提案した。
本研究は,形式的NN解析のスケーラビリティとタイミング効率を向上させるために,状態空間の削減と入力セグメント化手法を開発する。
論文 参考訳（メタデータ） (2023-06-29T22:18:07Z) - It's a long way! Layer-wise Relevance Propagation for Echo State
Networks applied to Earth System Variability [0.0]
ブラックボックスを開くために、どのようにLPPをEcho State Networks (ESNs)に適用できるかを示す。
ESNモデルは,海面温度異常からエルニーニョ南部振動(ENSO)の検出装置として機能する。
論文 参考訳（メタデータ） (2022-10-18T16:13:02Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T12:34:59Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳（メタデータ） (2020-12-03T08:32:01Z) - Weight-Covariance Alignment for Adversarially Robust Neural Networks [15.11530043291188]
本稿では,対人訓練に頼らずに最先端のパフォーマンスを実現する新しいSNNを提案する。
既存のSNNは学習あるいは手動等方性雑音を注入するが、SNNは異方性雑音分布を学習し、対向的ロバスト性に対する学習理論境界を最適化する。
論文 参考訳（メタデータ） (2020-10-17T19:28:35Z) - On Computability, Learnability and Extractability of Finite State
Machines from Recurrent Neural Networks [0.0]
この研究は、有限状態マシン(FSM)とリカレントニューラルネットワーク(RNN)の間の接続に光を当てることを目的としている。
このマスターの論文では、リカレントニューラルネットワークからの有限状態マシンの抽出可能性、学習可能性の側面、計算リンクの3倍のコネクションが検討されている。
論文 参考訳（メタデータ） (2020-09-10T15:55:30Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。