論文の概要: Model-Size Reduction for Reservoir Computing by Concatenating Internal States Through Time

• arxiv url: http://arxiv.org/abs/2006.06218v1
• Date: Thu, 11 Jun 2020 06:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:55:24.601544
• Title: Model-Size Reduction for Reservoir Computing by Concatenating Internal States Through Time
• Title（参考訳）: 内部状態の時間的結合による貯留層計算のモデルサイズ削減
• Authors: Yusuke Sakemi, Kai Morino, Timoth\'ee Leleu, Kazuyuki Aihara
• Abstract要約: Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。 エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。 本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
• 参考スコア（独自算出の注目度）: 2.6872737601772956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir computing (RC) is a machine learning algorithm that can learn complex time series from data very rapidly based on the use of high-dimensional dynamical systems, such as random networks of neurons, called "reservoirs." To implement RC in edge computing, it is highly important to reduce the amount of computational resources that RC requires. In this study, we propose methods that reduce the size of the reservoir by inputting the past or drifting states of the reservoir to the output layer at the current time step. These proposed methods are analyzed based on information processing capacity, which is a performance measure of RC proposed by Dambre et al. (2012). In addition, we evaluate the effectiveness of the proposed methods on time-series prediction tasks: the generalized Henon-map and NARMA. On these tasks, we found that the proposed methods were able to reduce the size of the reservoir up to one tenth without a substantial increase in regression error. Because the applications of the proposed methods are not limited to a specific network structure of the reservoir, the proposed methods could further improve the energy efficiency of RC-based systems, such as FPGAs and photonic systems.
• Abstract（参考訳）: Reservoir Computing (RC) は「Reservoirs」と呼ばれるニューロンのランダムネットワークのような高次元力学系を用いてデータから複雑な時系列を高速に学習できる機械学習アルゴリズムである。 エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。 本研究では, 貯水池の過去状態や漂流状態を現在の時間ステップで出力層に入力することにより, 貯水池の大きさを小さくする手法を提案する。 提案手法は,Dambreらによって2012年に提案されたRCの性能指標である情報処理能力に基づいて解析される。 さらに,提案手法が時系列予測タスク(一般化Henon-map と NARMA)における有効性を評価する。 これらの課題により,提案手法は回帰誤差を大きく増加させることなく,貯水池のサイズを10分の1まで削減できることがわかった。 提案手法の応用は貯水池の特定のネットワーク構造に限定されないため,提案手法はFPGAやフォトニックシステムなどのRC系システムのエネルギー効率をさらに向上させることができる。

関連論文リスト

• Oscillations enhance time-series prediction in reservoir computing with feedback [3.3686252536891454]
  貯留層コンピューティング(Reservoir computing)は、脳のモデリングに使用される機械学習フレームワークである。 貯水池系が不安定になるため、長期目標時系列を正確に再現することは困難である。 本研究では,振動駆動型貯水池計算 (ODRC) をフィードバックで提案する。
  論文  参考訳（メタデータ） (2024-06-05T02:30:29Z)
• Hybridizing Traditional and Next-Generation Reservoir Computing to Accurately and Efficiently Forecast Dynamical Systems [0.0]
  Reservoir Computer (RC) は時系列予測のための強力な機械学習アーキテクチャである。 次世代貯水池コンピュータ (NGRC) が導入された。 本稿では,動的システムの時系列予測のためのハイブリッドRC-NGRC手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T17:35:17Z)
• Analysis and Fully Memristor-based Reservoir Computing for Temporal Data Classification [0.6291443816903801]
  Reservoir Computing (RC) は、特に信号処理に有効なニューロモルフィックなフレームワークを提供する。 RCハードウェアのキーコンポーネントは動的貯留状態を生成する能力である。 本研究は, 新たな時間的課題の管理において, メムリスタをベースとしたRCシステムの適応性を照らすものである。
  論文  参考訳（メタデータ） (2024-03-04T08:22:29Z)
• A Systematic Exploration of Reservoir Computing for Forecasting Complex Spatiotemporal Dynamics [0.0]
  Reservoir Computer (RC) は、本質的にカオス力学系の予測アーキテクチャに成功しているリカレントニューラルネットワークの一種である。 多数の特性力学系に対する「クラス最良」RCのアーキテクチャと設計選択について検討する。 ローカライゼーションを用いた大規模モデルへのスケールアップにおけるこれらの選択の適用について述べる。
  論文  参考訳（メタデータ） (2022-01-21T22:31:12Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Hierarchical Architectures in Reservoir Computing Systems [0.0]
  Reservoir Computing (RC) は、訓練コストの低い効率的な時間データ処理を提供する。 階層型貯水池構造が貯水池の特性およびRCシステムの性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2021-05-14T16:11:35Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition [97.14064057840089]
  グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。 ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。 本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T08:01:55Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。