論文の概要: Embedding Theory of Reservoir Computing and Reducing Reservoir Network Using Time Delays

• arxiv url: http://arxiv.org/abs/2303.09042v1
• Date: Thu, 16 Mar 2023 02:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:03:12.492212
• Title: Embedding Theory of Reservoir Computing and Reducing Reservoir Network Using Time Delays
• Title（参考訳）: 時間遅延を利用した貯水池計算と貯水池ネットワークの埋め込み理論
• Authors: Xing-Yue Duan, Xiong Ying, Si-Yang Leng, J\"urgen Kurths, Wei Lin, Huan-Fei Ma
• Abstract要約: 貯留層計算(Reservoir Computing, RC)は、複雑な物理系の再構築や予測において、その異常な有効性と高い性能のために爆発的な発展を遂げている。 ここでは、RCがもともと入力された非線形力学系の高次元埋め込みであることを厳密に証明する。 我々は、いくつかの代表的な物理系を再構成し予測するためにRCのネットワークサイズを著しく削減し、より驚くべきことに、時間遅延のある単一ニューロン貯水池のみを用いることで、これらのタスクを達成するのに十分な場合がある。
• 参考スコア（独自算出の注目度）: 6.543793376734818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reservoir computing (RC), a particular form of recurrent neural network, is under explosive development due to its exceptional efficacy and high performance in reconstruction or/and prediction of complex physical systems. However, the mechanism triggering such effective applications of RC is still unclear, awaiting deep and systematic exploration. Here, combining the delayed embedding theory with the generalized embedding theory, we rigorously prove that RC is essentially a high dimensional embedding of the original input nonlinear dynamical system. Thus, using this embedding property, we unify into a universal framework the standard RC and the time-delayed RC where we novelly introduce time delays only into the network's output layer, and we further find a trade-off relation between the time delays and the number of neurons in RC. Based on this finding, we significantly reduce the network size of RC for reconstructing and predicting some representative physical systems, and, more surprisingly, only using a single neuron reservoir with time delays is sometimes sufficient for achieving those tasks.
• Abstract（参考訳）: Reservoir Computing(RC)は、リカレントニューラルネットワークの一種であり、異常な有効性と複雑な物理系の再構築や予測における高い性能のために爆発的な発展を遂げている。 しかし,rcの有効利用を誘発するメカニズムはいまだ不明であり,深く体系的な探索が待たれている。 ここでは、遅延埋め込み理論と一般化埋め込み理論を組み合わせることで、RCがもともと入力された非線形力学系の高次元埋め込みであることを厳密に証明する。 そこで, この埋め込み特性を用いて標準RCと時間遅延RCを統一し, ネットワークの出力層にのみ時間遅延を新たに導入し, さらに, RCにおける時間遅延とニューロン数のトレードオフ関係を求める。 この結果から,特定の物理系を再構成・予測するためにRCのネットワークサイズを著しく削減し,より驚くべきことに,時間遅延のある単一ニューロン貯水池のみを用いることで,これらの課題を達成するのに十分な場合がある。

関連論文リスト

• Oscillations enhance time-series prediction in reservoir computing with feedback [3.3686252536891454]
  貯留層コンピューティング(Reservoir computing)は、脳のモデリングに使用される機械学習フレームワークである。 貯水池系が不安定になるため、長期目標時系列を正確に再現することは困難である。 本研究では,振動駆動型貯水池計算 (ODRC) をフィードバックで提案する。
  論文  参考訳（メタデータ） (2024-06-05T02:30:29Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing [19.995241682744567]
  貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。 RCは一般線形時間不変系(LTI)を普遍的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-08-04T17:04:13Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
  重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• Time-Reversal Symmetric ODE Network [138.02741983098454]
  時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。 本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。 時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-22T12:19:40Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)
• Model-Size Reduction for Reservoir Computing by Concatenating Internal States Through Time [2.6872737601772956]
  Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。 エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。 本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T06:11:03Z)
• Sparsity in Reservoir Computing Neural Networks [3.55810827129032]
  Reservoir Computing(RC)は、トレーニングの大幅な効率を特徴とするリカレントニューラルネットワークを設計するための戦略である。 本稿では,発達した時間表現の豊かさの観点から,RCネットワーク設計における空間性の役割を実証的に検討する。
  論文  参考訳（メタデータ） (2020-06-04T15:38:17Z)
• RCNet: Incorporating Structural Information into Deep RNN for MIMO-OFDM Symbol Detection with Limited Training [26.12840500767443]
  我々は、OFDM信号に固有の構造情報を活用するために、時間周波数RCを導入する。 RCNetは、浅いRC構造よりも高速な学習収束と最大20%のビット誤り率を提供できることを示す。
  論文  参考訳（メタデータ） (2020-03-15T21:06:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。