論文の概要: Sparsity in Reservoir Computing Neural Networks

• arxiv url: http://arxiv.org/abs/2006.02957v1
• Date: Thu, 4 Jun 2020 15:38:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 08:58:42.409273
• Title: Sparsity in Reservoir Computing Neural Networks
• Title（参考訳）: 貯水池計算ニューラルネットワークのスパーシティ
• Authors: Claudio Gallicchio
• Abstract要約: Reservoir Computing(RC)は、トレーニングの大幅な効率を特徴とするリカレントニューラルネットワークを設計するための戦略である。 本稿では,発達した時間表現の豊かさの観点から,RCネットワーク設計における空間性の役割を実証的に検討する。
• 参考スコア（独自算出の注目度）: 3.55810827129032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir Computing (RC) is a well-known strategy for designing Recurrent Neural Networks featured by striking efficiency of training. The crucial aspect of RC is to properly instantiate the hidden recurrent layer that serves as dynamical memory to the system. In this respect, the common recipe is to create a pool of randomly and sparsely connected recurrent neurons. While the aspect of sparsity in the design of RC systems has been debated in the literature, it is nowadays understood mainly as a way to enhance the efficiency of computation, exploiting sparse matrix operations. In this paper, we empirically investigate the role of sparsity in RC network design under the perspective of the richness of the developed temporal representations. We analyze both sparsity in the recurrent connections, and in the connections from the input to the reservoir. Our results point out that sparsity, in particular in input-reservoir connections, has a major role in developing internal temporal representations that have a longer short-term memory of past inputs and a higher dimension.
• Abstract（参考訳）: リザーバコンピューティング(reservation computing、rc)は、リカレントニューラルネットワークを設計するためのよく知られた戦略である。 RCの重要な側面は、システムに動的メモリとして機能する隠されたリカレント層を適切にインスタンス化することです。 この点で、一般的なレシピはランダムで疎結合なリカレントニューロンのプールを作ることである。 rcシステム設計におけるスパーシティの側面は文献で議論されているが、現在では分散行列演算を利用して計算効率を向上させる方法として主に理解されている。 本稿では,発達した時間表現の豊かさの観点から,RCネットワーク設計における空間性の役割を実証的に検討する。 我々は、繰り返し接続における疎度と、入力から貯留層への接続について解析する。 以上の結果から,特にインプット/リサーボ接続における空間性は,過去のインプットの短期記憶と高次元の長期記憶を持つ内部時間表現の発達において重要な役割を担っていることが示唆された。

関連論文リスト

• Analysis and Fully Memristor-based Reservoir Computing for Temporal Data Classification [0.6291443816903801]
  Reservoir Computing (RC) は、特に信号処理に有効なニューロモルフィックなフレームワークを提供する。 RCハードウェアのキーコンポーネントは動的貯留状態を生成する能力である。 本研究は, 新たな時間的課題の管理において, メムリスタをベースとしたRCシステムの適応性を照らすものである。
  論文  参考訳（メタデータ） (2024-03-04T08:22:29Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Embedding Theory of Reservoir Computing and Reducing Reservoir Network Using Time Delays [6.543793376734818]
  貯留層計算(Reservoir Computing, RC)は、複雑な物理系の再構築や予測において、その異常な有効性と高い性能のために爆発的な発展を遂げている。 ここでは、RCがもともと入力された非線形力学系の高次元埋め込みであることを厳密に証明する。 我々は、いくつかの代表的な物理系を再構成し予測するためにRCのネットワークサイズを著しく削減し、より驚くべきことに、時間遅延のある単一ニューロン貯水池のみを用いることで、これらのタスクを達成するのに十分な場合がある。
  論文  参考訳（メタデータ） (2023-03-16T02:25:51Z)
• Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition [0.0]
  連想記憶は、大々的に繰り返される新皮質ネットワークによって実行される計算の有力候補である。 我々は,非教師付きヘビアン・ベイズ学習規則を用いて分散表現を学習するフィードフォワードネットワークに,繰り返しアトラクタネットワークを結合する。 本研究では, フィードフォワード駆動型内部(隠れた)表現のトレーニングにおいて, 繰り返しアトラクタコンポーネントが連想メモリを実装していることを示す。
  論文  参考訳（メタデータ） (2022-06-30T06:03:11Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• Hierarchical Architectures in Reservoir Computing Systems [0.0]
  Reservoir Computing (RC) は、訓練コストの低い効率的な時間データ処理を提供する。 階層型貯水池構造が貯水池の特性およびRCシステムの性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2021-05-14T16:11:35Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。