論文の概要: Hierarchical Architectures in Reservoir Computing Systems
- arxiv url: http://arxiv.org/abs/2105.06923v1
- Date: Fri, 14 May 2021 16:11:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-17 15:28:42.902459
- Title: Hierarchical Architectures in Reservoir Computing Systems
- Title（参考訳）: 貯留層計算システムにおける階層アーキテクチャ
- Authors: John Moon, Wei D. Lu (University of Michigan)
- Abstract要約: Reservoir Computing (RC) は、訓練コストの低い効率的な時間データ処理を提供する。
階層型貯水池構造が貯水池の特性およびRCシステムの性能に及ぼす影響について検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reservoir computing (RC) offers efficient temporal data processing with a low
training cost by separating recurrent neural networks into a fixed network with
recurrent connections and a trainable linear network. The quality of the fixed
network, called reservoir, is the most important factor that determines the
performance of the RC system. In this paper, we investigate the influence of
the hierarchical reservoir structure on the properties of the reservoir and the
performance of the RC system. Analogous to deep neural networks, stacking
sub-reservoirs in series is an efficient way to enhance the nonlinearity of
data transformation to high-dimensional space and expand the diversity of
temporal information captured by the reservoir. These deep reservoir systems
offer better performance when compared to simply increasing the size of the
reservoir or the number of sub-reservoirs. Low frequency components are mainly
captured by the sub-reservoirs in later stage of the deep reservoir structure,
similar to observations that more abstract information can be extracted by
layers in the late stage of deep neural networks. When the total size of the
reservoir is fixed, tradeoff between the number of sub-reservoirs and the size
of each sub-reservoir needs to be carefully considered, due to the degraded
ability of individual sub-reservoirs at small sizes. Improved performance of
the deep reservoir structure alleviates the difficulty of implementing the RC
system on hardware systems.
- Abstract（参考訳）: Reservoir Computing(RC)は、リカレントニューラルネットワークを、リカレント接続とトレーニング可能な線形ネットワークを備えた固定ネットワークに分離することで、トレーニングコストの低い効率的な時間データ処理を提供する。
固定ネットワークの品質は貯水池と呼ばれ、RCシステムの性能を決定する最も重要な要素である。
本稿では, 階層型貯水池構造が貯水池の特性およびRCシステムの性能に及ぼす影響について検討する。
深層ニューラルネットワークと類似して、データ変換の非線形性を高次元空間に拡張し、貯水池が捉えた時間情報の多様性を拡大する効率的な方法である。
これらの深部貯水池システムは、単に貯水池の大きさや貯水池の数を増やすよりも性能が良い。
低周波成分は主に深部貯留層構造後期のサブ貯留層によって捉えられ、深部ニューラルネットワーク後期の層によってより抽象的な情報が抽出されるという観察と同様である。
貯水池の総規模が固定された場合, 個別貯水池の小型化能力の低下により, 貯水池数と各貯水池の大きさとのトレードオフを慎重に検討する必要がある。
深層貯留層構造の性能向上は、ハードウェアシステムにおけるrcシステム実装の難しさを軽減する。
関連論文リスト
- Chaotic attractor reconstruction using small reservoirs - the influence
of topology [0.0]
貯留層計算はカオス力学の予測に有効な方法であることが示されている。
本研究では,未結合ノードの貯留層が長期時間予測をより確実に生成することを示す。
論文 参考訳（メタデータ） (2024-02-23T09:43:52Z) - A Lightweight Recurrent Learning Network for Sustainable Compressed
Sensing [27.964167481909588]
持続可能なCSシステムを実現するために,繰り返し学習に基づく軽量だが効果的な深層ニューラルネットワークを提案する。
提案手法は,既存のCSアルゴリズムよりも再現性が高い。
論文 参考訳（メタデータ） (2023-04-23T14:54:15Z) - RC-Net: A Convolutional Neural Network for Retinal Vessel Segmentation [3.0846824529023387]
本稿では,機能重複と複雑性を低減するために,層ごとのフィルタ数を最適化した完全畳み込みネットワークRC-Netを提案する。
我々の実験では、RC-Netは非常に競争力があり、訓練可能なパラメータが2、3桁も少ない代替船のセグメンテーション手法よりも優れています。
論文 参考訳（メタデータ） (2021-12-21T10:24:01Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Sequential Hierarchical Learning with Distribution Transformation for
Image Super-Resolution [83.70890515772456]
画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。
特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。
実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
論文 参考訳（メタデータ） (2020-07-19T01:35:53Z) - Model-Size Reduction for Reservoir Computing by Concatenating Internal
States Through Time [2.6872737601772956]
Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。
エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。
本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
論文 参考訳（メタデータ） (2020-06-11T06:11:03Z) - Sparsity in Reservoir Computing Neural Networks [3.55810827129032]
Reservoir Computing(RC)は、トレーニングの大幅な効率を特徴とするリカレントニューラルネットワークを設計するための戦略である。
本稿では,発達した時間表現の豊かさの観点から,RCネットワーク設計における空間性の役割を実証的に検討する。
論文 参考訳（メタデータ） (2020-06-04T15:38:17Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z) - Dense Residual Network: Enhancing Global Dense Feature Flow for
Character Recognition [75.4027660840568]
本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。
技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
論文 参考訳（メタデータ） (2020-01-23T06:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。