論文の概要: Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing
- arxiv url: http://arxiv.org/abs/2308.02464v2
- Date: Sun, 7 Apr 2024 13:58:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 04:57:43.116512
- Title: Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing
- Title（参考訳）: RNNによる線形時間不変系の普遍近似:貯留層計算におけるランダム性のパワー
- Authors: Shashank Jere, Lizhong Zheng, Karim Said, Lingjia Liu,
- Abstract要約: 貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。
RCは一般線形時間不変系(LTI)を普遍的に近似できることを示す。
- 参考スコア（独自算出の注目度）: 19.995241682744567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural networks (RNNs) are known to be universal approximators of dynamic systems under fairly mild and general assumptions. However, RNNs usually suffer from the issues of vanishing and exploding gradients in standard RNN training. Reservoir computing (RC), a special RNN where the recurrent weights are randomized and left untrained, has been introduced to overcome these issues and has demonstrated superior empirical performance especially in scenarios where training samples are extremely limited. On the other hand, the theoretical grounding to support this observed performance has yet been fully developed. In this work, we show that RC can universally approximate a general linear time-invariant (LTI) system. Specifically, we present a clear signal processing interpretation of RC and utilize this understanding in the problem of approximating a generic LTI system. Under this setup, we analytically characterize the optimum probability density function for configuring (instead of training and/or randomly generating) the recurrent weights of the underlying RNN of the RC. Extensive numerical evaluations are provided to validate the optimality of the derived distribution for configuring the recurrent weights of the RC to approximate a general LTI system. Our work results in clear signal processing-based model interpretability of RC and provides theoretical explanation/justification for the power of randomness in randomly generating instead of training RC's recurrent weights. Furthermore, it provides a complete optimum analytical characterization for configuring the untrained recurrent weights, marking an important step towards explainable machine learning (XML) to incorporate domain knowledge for efficient learning.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、比較的穏やかで一般的な仮定の下で、動的システムの普遍的な近似器として知られている。
しかしながら、RNNは通常、標準のRNNトレーニングにおける勾配の消滅と爆発という問題に悩まされる。
Reservoir Computing (RC)は、リカレントウェイトがランダム化されトレーニングされていない特殊なRNNであり、これらの問題を克服するために導入され、特にトレーニングサンプルが極端に制限されたシナリオにおいて、優れた経験的性能を示している。
一方、この観測性能を支持する理論的根拠は、まだ完全には開発されていない。
本研究では、RCが一般線形時間不変系(LTI)を普遍的に近似できることを示す。
具体的には、RCの明確な信号処理解釈を示し、汎用LTIシステムの近似問題においてこの理解を利用する。
この設定では、RCの根底にあるRNNの繰り返し重みを設定する(トレーニングやランダムに生成するのではなく)ための最適確率密度関数を解析的に特徴付ける。
RCの繰り返し重みを設定するために導出分布の最適性を検証し、一般LTIシステムに近似する。
本研究は、RCの信号処理に基づくモデル解釈可能性を明確にし、RCの繰り返し重みをトレーニングする代わりにランダムに生成するランダム性のパワーを理論的に説明・補正する。
さらに、トレーニングされていないリカレントウェイトを設定するのに最適な分析特性を提供し、効率的な学習のためにドメイン知識を組み込むための説明可能な機械学習(XML)への重要なステップを示す。
関連論文リスト
- Universality of Real Minimal Complexity Reservoir [0.358439716487063]
貯留層計算(Reservoir Computing, RC)モデルは、その固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。
Simple Cycle Reservoirs (SCR) は、制約の高い貯水池構造を持つRCモデルの特殊なクラスである。
実領域で動作するSCRは、減少するメモリを持つ時間不変の動的フィルタの普遍的な近似器である。
論文 参考訳（メタデータ） (2024-08-15T10:44:33Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳（メタデータ） (2023-07-27T06:59:46Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳（メタデータ） (2022-04-11T05:38:38Z) - Metric Entropy Limits on Recurrent Neural Network Learning of Linear
Dynamical Systems [0.0]
RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。
差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
論文 参考訳（メタデータ） (2021-05-06T10:12:30Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳（メタデータ） (2020-10-02T12:35:04Z) - On Lyapunov Exponents for RNNs: Understanding Information Propagation
Using Dynamical Systems Tools [6.199300239433395]
Lyapunov Exponents (LEs) は非線形系軌道の膨張と収縮の速度を測定する。
情報の前方伝播は誤り勾配の後方伝播と関係しているため、レはRNN訓練力学の安定性に左右される。
学習力学の安定性を理解し、活用するためのツールとして、リャプノフスペクトルは、規範的な数学的アプローチの間の既存のギャップを埋める。
論文 参考訳（メタデータ） (2020-06-25T00:53:19Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。