論文の概要: Extension of Recurrent Kernels to different Reservoir Computing topologies

• arxiv url: http://arxiv.org/abs/2401.14557v1
• Date: Thu, 25 Jan 2024 22:54:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 16:27:05.334087
• Title: Extension of Recurrent Kernels to different Reservoir Computing topologies
• Title（参考訳）: リカレントカーネルの異なる貯留層計算トポロジへの拡張
• Authors: Giuseppe Alessio D'Inverno, Jonathan Dong
• Abstract要約: Reservoir Computing (RC) は、高速で効率的な計算能力によって近年人気が高まっている。 標準RCは、その表現力を分析するのに役立つリカレントカーネルの限界において等価であることが示されている。 Leaky RC、Sparse RC、Deep RCなど多くの確立されたRCパラダイムは、まだそのような方法では分析されていない。
• 参考スコア（独自算出の注目度）: 1.7689766432544654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir Computing (RC) has become popular in recent years due to its fast and efficient computational capabilities. Standard RC has been shown to be equivalent in the asymptotic limit to Recurrent Kernels, which helps in analyzing its expressive power. However, many well-established RC paradigms, such as Leaky RC, Sparse RC, and Deep RC, are yet to be analyzed in such a way. This study aims to fill this gap by providing an empirical analysis of the equivalence of specific RC architectures with their corresponding Recurrent Kernel formulation. We conduct a convergence study by varying the activation function implemented in each architecture. Our study also sheds light on the role of sparse connections in RC architectures and propose an optimal sparsity level that depends on the reservoir size. Furthermore, our systematic analysis shows that in Deep RC models, convergence is better achieved with successive reservoirs of decreasing sizes.
• Abstract（参考訳）: 貯水池コンピューティング(rc)は,その高速かつ効率的な計算能力により近年普及している。 標準RCはリカレントカーネルの漸近的極限において等価であることが示されており、表現力の解析に役立っている。 しかし、Leaky RC、Sparse RC、Deep RCのような確立されたRCパラダイムの多くは、そのような方法では分析されていない。 本研究の目的は,特定のRCアーキテクチャの等価性と対応する再帰カーネルの定式化を実証的に解析することによって,このギャップを埋めることである。 各アーキテクチャに実装されたアクティベーション関数を変化させて収束研究を行う。 本研究はrcアーキテクチャにおけるスパース接続の役割にも光を当て、貯留層サイズに依存する最適スパース性レベルを提案する。 さらに, 系統解析により, 深部rcモデルでは, 小型化の連続した貯留層により収束性が向上することを示した。

関連論文リスト

• Universality of Real Minimal Complexity Reservoir [0.358439716487063]
  貯留層計算(Reservoir Computing, RC)モデルは、その固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。 Simple Cycle Reservoirs (SCR) は、制約の高い貯水池構造を持つRCモデルの特殊なクラスである。 実領域で動作するSCRは、減少するメモリを持つ時間不変の動的フィルタの普遍的な近似器である。
  論文  参考訳（メタデータ） (2024-08-15T10:44:33Z)
• Hybridizing Traditional and Next-Generation Reservoir Computing to Accurately and Efficiently Forecast Dynamical Systems [0.0]
  Reservoir Computer (RC) は時系列予測のための強力な機械学習アーキテクチャである。 次世代貯水池コンピュータ (NGRC) が導入された。 本稿では,動的システムの時系列予測のためのハイブリッドRC-NGRC手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T17:35:17Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Hierarchical Architectures in Reservoir Computing Systems [0.0]
  Reservoir Computing (RC) は、訓練コストの低い効率的な時間データ処理を提供する。 階層型貯水池構造が貯水池の特性およびRCシステムの性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2021-05-14T16:11:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Reservoir Computing meets Recurrent Kernels and Structured Transforms [24.702585218407364]
  Reservoir Computing(Reservoir Computing)は、単純だが効率的なリカレントニューラルネットワークのクラスである。 我々はReservoir Computingのリカレントカーネル限界を厳格に確立する。 リカレントカーネルが、データポイントの数が適度なままである場合に、どのように競争力と計算効率を保っているかを示す。
  論文  参考訳（メタデータ） (2020-06-12T16:46:34Z)
• Model-Size Reduction for Reservoir Computing by Concatenating Internal States Through Time [2.6872737601772956]
  Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。 エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。 本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T06:11:03Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。