論文の概要: Comparison of Reservoir Computing topologies using the Recurrent Kernel approach

• arxiv url: http://arxiv.org/abs/2401.14557v3
• Date: Fri, 04 Oct 2024 12:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 18:20:28.605958
• Title: Comparison of Reservoir Computing topologies using the Recurrent Kernel approach
• Title（参考訳）: Recurrent Kernel を用いた貯留層計算トポロジの比較
• Authors: Giuseppe Alessio D'Inverno, Jonathan Dong,
• Abstract要約: Reservoir Computing (RC) は、高速で効率的な計算能力によって近年人気を集めている。 標準RCは、その表現力を分析するのに役立つリカレントカーネルの限界において等価であることが示されている。 しかし、Leaky RC、Sparse RC、Deep RCのような確立されたRCパラダイムの多くは、そのような方法で体系的に分析されていない。
• 参考スコア（独自算出の注目度）: 1.497397381188555
• License:
• Abstract: Reservoir Computing (RC) has become popular in recent years thanks to its fast and efficient computational capabilities. Standard RC has been shown to be equivalent in the asymptotic limit to Recurrent Kernels, which helps in analyzing its expressive power. However, many well-established RC paradigms, such as Leaky RC, Sparse RC, and Deep RC, are yet to be systematically analyzed in such a way. We define the Recurrent Kernel limit of all these RC topologies and conduct a convergence study for a wide range of activation functions and hyperparameters. Our findings provide new insights into various aspects of Reservoir Computing. First, we demonstrate that there is an optimal sparsity level which grows with the reservoir size. Furthermore, our analysis suggests that Deep RC should use reservoir layers of decreasing sizes. Finally, we perform a benchmark demonstrating the efficiency of Structured Reservoir Computing compared to vanilla and Sparse Reservoir Computing.
• Abstract（参考訳）: Reservoir Computing (RC) は、高速で効率的な計算能力によって近年人気を集めている。 標準RCはリカレントカーネルの漸近的極限において等価であることが示されており、その表現力の解析に役立っている。 しかし、Leaky RC、Sparse RC、Deep RCのような確立されたRCパラダイムの多くは、そのような方法で体系的に分析されていない。 これらRCトポロジのリカレントカーネル極限を定義し、幅広い活性化関数とハイパーパラメータの収束研究を行う。 本研究は,貯留層コンピューティングの諸側面に関する新たな知見を提供する。 まず,貯水池の大きさに応じて成長する最適な空間レベルが存在することを示す。 さらに, 深部RCでは, 粒径が減少する貯水層を用いる必要があることを示唆した。 最後に,バニラやスパース・リザーバ・コンピューティングと比較して,構造化リザーバ・コンピューティングの効率性を示すベンチマークを行う。

関連論文リスト

• Universality of Real Minimal Complexity Reservoir [0.358439716487063]
  貯留層計算(Reservoir Computing, RC)モデルは、その固定された非トレーニング可能な入力層と動的に結合された貯留層によって区別される。 Simple Cycle Reservoirs (SCR) は、制約の高い貯水池構造を持つRCモデルの特殊なクラスである。 実領域で動作するSCRは、減少するメモリを持つ時間不変の動的フィルタの普遍的な近似器である。
  論文  参考訳（メタデータ） (2024-08-15T10:44:33Z)
• Hybridizing Traditional and Next-Generation Reservoir Computing to Accurately and Efficiently Forecast Dynamical Systems [0.0]
  Reservoir Computer (RC) は時系列予測のための強力な機械学習アーキテクチャである。 次世代貯水池コンピュータ (NGRC) が導入された。 本稿では,動的システムの時系列予測のためのハイブリッドRC-NGRC手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T17:35:17Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Hierarchical Architectures in Reservoir Computing Systems [0.0]
  Reservoir Computing (RC) は、訓練コストの低い効率的な時間データ処理を提供する。 階層型貯水池構造が貯水池の特性およびRCシステムの性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2021-05-14T16:11:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Reservoir Computing meets Recurrent Kernels and Structured Transforms [24.702585218407364]
  Reservoir Computing(Reservoir Computing)は、単純だが効率的なリカレントニューラルネットワークのクラスである。 我々はReservoir Computingのリカレントカーネル限界を厳格に確立する。 リカレントカーネルが、データポイントの数が適度なままである場合に、どのように競争力と計算効率を保っているかを示す。
  論文  参考訳（メタデータ） (2020-06-12T16:46:34Z)
• Model-Size Reduction for Reservoir Computing by Concatenating Internal States Through Time [2.6872737601772956]
  Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。 エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。 本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T06:11:03Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。