論文の概要: Universal Approximation of Linear Time-Invariant (LTI) Systems through
RNNs: Power of Randomness in Reservoir Computing
- arxiv url: http://arxiv.org/abs/2308.02464v1
- Date: Fri, 4 Aug 2023 17:04:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 12:03:38.075916
- Title: Universal Approximation of Linear Time-Invariant (LTI) Systems through
RNNs: Power of Randomness in Reservoir Computing
- Title(参考訳): RNNによる線形時間不変系の普遍近似:貯留層計算におけるランダム性のパワー
- Authors: Shashank Jere, Lizhong Zheng, Karim Said and Lingjia Liu
- Abstract要約: 貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。
RCは線形時間不変系(LTI)の普遍近似を提供することができることを示す。
RCの根底にあるRNNの繰り返し重みを生成するための最適確率分布関数を解析的に特徴付ける。
- 参考スコア(独自算出の注目度): 23.996071122827068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural networks (RNNs) are known to be universal approximators of
dynamic systems under fairly mild and general assumptions, making them good
tools to process temporal information. However, RNNs usually suffer from the
issues of vanishing and exploding gradients in the standard RNN training.
Reservoir computing (RC), a special RNN where the recurrent weights are
randomized and left untrained, has been introduced to overcome these issues and
has demonstrated superior empirical performance in fields as diverse as natural
language processing and wireless communications especially in scenarios where
training samples are extremely limited. On the contrary, the theoretical
grounding to support this observed performance has not been fully developed at
the same pace. In this work, we show that RNNs can provide universal
approximation of linear time-invariant (LTI) systems. Specifically, we show
that RC can universally approximate a general LTI system. We present a clear
signal processing interpretation of RC and utilize this understanding in the
problem of simulating a generic LTI system through RC. Under this setup, we
analytically characterize the optimal probability distribution function for
generating the recurrent weights of the underlying RNN of the RC. We provide
extensive numerical evaluations to validate the optimality of the derived
optimum distribution of the recurrent weights of the RC for the LTI system
simulation problem. Our work results in clear signal processing-based model
interpretability of RC and provides theoretical explanation for the power of
randomness in setting instead of training RC's recurrent weights. It further
provides a complete optimum analytical characterization for the untrained
recurrent weights, marking an important step towards explainable machine
learning (XML) which is extremely important for applications where training
samples are limited.
- Abstract(参考訳): リカレントニューラルネットワーク(RNN)は、比較的穏やかで一般的な仮定の下で、動的システムの普遍的な近似として知られており、時間情報を処理するための優れたツールとなっている。
しかしながら、RNNは通常、標準のRNNトレーニングにおける勾配の消滅と爆発という問題に悩まされる。
Reservoir Computing(RC)は、リカレントウェイトがランダム化されトレーニングされていない特殊なRNNであり、これらの問題を克服するために導入され、特にトレーニングサンプルが極めて限定されたシナリオにおいて、自然言語処理や無線通信のような多様な分野において優れた経験的性能を示している。
それに対して、この観測性能を支持する理論的根拠は、同じペースで完全には開発されていない。
本研究では,RNNが線形時間不変(LTI)システムの普遍近似を提供することを示す。
具体的には、RCが一般LTI系を普遍的に近似できることを示す。
本稿では、RCの明確な信号処理解釈を行い、RCを通して汎用LTIシステムをシミュレートする問題において、この理解を利用する。
本設定では,RCの基礎となるRNNの繰り返し重みを生成するための最適確率分布関数を解析的に特徴付ける。
LTIシステムシミュレーション問題に対するRCの繰り返し重みの導出最適分布の最適性を検証するため、広範囲な数値評価を行った。
本研究は、RCの信号処理に基づくモデル解釈可能性を明確にし、RCの繰り返し重みをトレーニングする代わりに、設定時のランダム性のパワーを理論的に説明する。
さらに、トレーニングされないリカレントウェイトに対する完全な最適分析特性を提供し、トレーニングサンプルが制限されたアプリケーションにとって非常に重要な、説明可能な機械学習(XML)への重要なステップを示す。
関連論文リスト
- Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳(メタデータ) (2023-07-27T06:59:46Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-04-03T13:25:22Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳(メタデータ) (2022-04-11T05:38:38Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Metric Entropy Limits on Recurrent Neural Network Learning of Linear
Dynamical Systems [0.0]
RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。
差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
論文 参考訳(メタデータ) (2021-05-06T10:12:30Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳(メタデータ) (2020-10-02T12:35:04Z) - On Lyapunov Exponents for RNNs: Understanding Information Propagation
Using Dynamical Systems Tools [6.199300239433395]
Lyapunov Exponents (LEs) は非線形系軌道の膨張と収縮の速度を測定する。
情報の前方伝播は誤り勾配の後方伝播と関係しているため、レはRNN訓練力学の安定性に左右される。
学習力学の安定性を理解し、活用するためのツールとして、リャプノフスペクトルは、規範的な数学的アプローチの間の既存のギャップを埋める。
論文 参考訳(メタデータ) (2020-06-25T00:53:19Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z) - Achieving Online Regression Performance of LSTMs with Simple RNNs [0.0]
本稿では,パラメータ数に線形時間を要する1次学習アルゴリズムを提案する。
SRNNが我々のアルゴリズムでトレーニングされている場合、LSTMと非常によく似た回帰性能を2~3倍の短いトレーニング時間で提供することを示す。
論文 参考訳(メタデータ) (2020-05-16T11:41:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。