論文の概要: Extension of Recurrent Kernels to different Reservoir Computing
topologies
- arxiv url: http://arxiv.org/abs/2401.14557v1
- Date: Thu, 25 Jan 2024 22:54:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 16:27:05.334087
- Title: Extension of Recurrent Kernels to different Reservoir Computing
topologies
- Title(参考訳): リカレントカーネルの異なる貯留層計算トポロジへの拡張
- Authors: Giuseppe Alessio D'Inverno, Jonathan Dong
- Abstract要約: Reservoir Computing (RC) は、高速で効率的な計算能力によって近年人気が高まっている。
標準RCは、その表現力を分析するのに役立つリカレントカーネルの限界において等価であることが示されている。
Leaky RC、Sparse RC、Deep RCなど多くの確立されたRCパラダイムは、まだそのような方法では分析されていない。
- 参考スコア(独自算出の注目度): 1.7689766432544654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir Computing (RC) has become popular in recent years due to its fast
and efficient computational capabilities. Standard RC has been shown to be
equivalent in the asymptotic limit to Recurrent Kernels, which helps in
analyzing its expressive power. However, many well-established RC paradigms,
such as Leaky RC, Sparse RC, and Deep RC, are yet to be analyzed in such a way.
This study aims to fill this gap by providing an empirical analysis of the
equivalence of specific RC architectures with their corresponding Recurrent
Kernel formulation. We conduct a convergence study by varying the activation
function implemented in each architecture. Our study also sheds light on the
role of sparse connections in RC architectures and propose an optimal sparsity
level that depends on the reservoir size. Furthermore, our systematic analysis
shows that in Deep RC models, convergence is better achieved with successive
reservoirs of decreasing sizes.
- Abstract(参考訳): 貯水池コンピューティング(rc)は,その高速かつ効率的な計算能力により近年普及している。
標準RCはリカレントカーネルの漸近的極限において等価であることが示されており、表現力の解析に役立っている。
しかし、Leaky RC、Sparse RC、Deep RCのような確立されたRCパラダイムの多くは、そのような方法では分析されていない。
本研究の目的は,特定のRCアーキテクチャの等価性と対応する再帰カーネルの定式化を実証的に解析することによって,このギャップを埋めることである。
各アーキテクチャに実装されたアクティベーション関数を変化させて収束研究を行う。
本研究はrcアーキテクチャにおけるスパース接続の役割にも光を当て、貯留層サイズに依存する最適スパース性レベルを提案する。
さらに, 系統解析により, 深部rcモデルでは, 小型化の連続した貯留層により収束性が向上することを示した。
関連論文リスト
- Hybridizing Traditional and Next-Generation Reservoir Computing to Accurately and Efficiently Forecast Dynamical Systems [0.0]
Reservoir Computer (RC) は時系列予測のための強力な機械学習アーキテクチャである。
次世代貯水池コンピュータ (NGRC) が導入された。
本稿では,複雑・カオス力学系の時系列予測のためのハイブリッドRC-NGRC手法を提案する。
論文 参考訳(メタデータ) (2024-03-04T17:35:17Z) - Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing [19.995241682744567]
貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。
RCは一般線形時間不変系(LTI)を普遍的に近似できることを示す。
論文 参考訳(メタデータ) (2023-08-04T17:04:13Z) - Eigensubspace of Temporal-Difference Dynamics and How It Improves Value
Approximation in Reinforcement Learning [44.663181739694664]
Eigensubspace Regularized Critic (ERC) はQ値近似誤差の動的解析によって動機付けられる。
本研究では,ERCが値関数の分散を効果的に減少させることを示す。
これはQ値近似と分散還元において大きな利点を示す。
論文 参考訳(メタデータ) (2023-06-29T07:47:32Z) - Shapley-NAS: Discovering Operation Contribution for Neural Architecture
Search [96.20505710087392]
ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。
提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-20T14:41:49Z) - When does return-conditioned supervised learning work for offline
reinforcement learning? [51.899892382786526]
本研究では,リターン条件付き教師あり学習の能力と限界について検討する。
RCSLは、より伝統的な動的プログラミングベースのアルゴリズムに必要なものよりも強い仮定のセットで最適なポリシーを返す。
論文 参考訳(メタデータ) (2022-06-02T15:05:42Z) - Representation Compensation Networks for Continual Semantic Segmentation [79.05769734989164]
深いニューラルネットワークが破滅的な忘れをせずに新しいクラスを継続的に組み込む必要がある,連続的なセマンティックセマンティックセグメンテーション問題について検討する。
本稿では,従来の知識と新しい知識の両方の表現学習を分離するために,構造的再パラメータ化機構である表現補償(RC)モジュールを提案する。
連続的なクラスセグメンテーションと連続的なドメインセグメンテーションという2つの挑戦的な意味セグメンテーションのシナリオについて実験を行う。
論文 参考訳(メタデータ) (2022-03-10T14:48:41Z) - A Systematic Exploration of Reservoir Computing for Forecasting Complex
Spatiotemporal Dynamics [0.0]
Reservoir Computer (RC) は、本質的にカオス力学系の予測アーキテクチャに成功しているリカレントニューラルネットワークの一種である。
多数の特性力学系に対する「クラス最良」RCのアーキテクチャと設計選択について検討する。
ローカライゼーションを用いた大規模モデルへのスケールアップにおけるこれらの選択の適用について述べる。
論文 参考訳(メタデータ) (2022-01-21T22:31:12Z) - Parallelized Reverse Curriculum Generation [62.25453821794469]
強化学習では, エージェントが, まばらな報酬のために, 特定の一連の行動を必要とするタスクをマスターすることが困難である。
逆カリキュラム生成(RCG)は、エージェントが学習するカリキュラムを自動的に生成する逆拡張アプローチを提供する。
本稿では,複数のACペアを同時に訓練し,定期的に批判を交換する並列化手法を提案する。
論文 参考訳(メタデータ) (2021-08-04T15:58:35Z) - Model-Size Reduction for Reservoir Computing by Concatenating Internal
States Through Time [2.6872737601772956]
Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。
エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。
本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
論文 参考訳(メタデータ) (2020-06-11T06:11:03Z) - Sparsity in Reservoir Computing Neural Networks [3.55810827129032]
Reservoir Computing(RC)は、トレーニングの大幅な効率を特徴とするリカレントニューラルネットワークを設計するための戦略である。
本稿では,発達した時間表現の豊かさの観点から,RCネットワーク設計における空間性の役割を実証的に検討する。
論文 参考訳(メタデータ) (2020-06-04T15:38:17Z) - RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。
RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
論文 参考訳(メタデータ) (2019-12-30T05:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。