論文の概要: Techniques for Enhancing Memory Capacity of Reservoir Computing

• arxiv url: http://arxiv.org/abs/2502.17923v1
• Date: Tue, 25 Feb 2025 07:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:48.330199
• Title: Techniques for Enhancing Memory Capacity of Reservoir Computing
• Title（参考訳）: 貯留層計算におけるメモリ容量向上技術
• Authors: Atsuki Yokota, Ichiro Kawashima, Yohei Saito, Hakaru Tamukoh, Osamu Nomura, Takashi Morie,
• Abstract要約: Reservoir Computing(RC)は、バイオインスパイアされた機械学習フレームワークである。 RCにおけるメモリ容量と非線形性の間にはトレードオフがある。 本研究では,貯水池モデルのメモリ容量を改善する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.7421845364041001
• License:
• Abstract: Reservoir Computing (RC) is a bio-inspired machine learning framework, and various models have been proposed. RC is a well-suited model for time series data processing, but there is a trade-off between memory capacity and nonlinearity. In this study, we propose methods to improve the memory capacity of reservoir models by modifying their network configuration except for the inside of reservoirs. The Delay method retains past inputs by adding delay node chains to the input layer with the specified number of delay steps. To suppress the effect of input value increase due to the Delay method, we divide the input weights by the number of added delay steps. The Pass through method feeds input values directly to the output layer. The Clustering method divides the input and reservoir nodes into multiple parts and integrates them at the output layer. We applied these methods to an echo state network (ESN), a typical RC model, and the chaotic Boltzmann machine (CBM)-RC, which can be efficiently implemented in integrated circuits. We evaluated their performance on the NARMA task, and measured information processing capacity (IPC) to evaluate the trade-off between memory capacity and nonlinearity.
• Abstract（参考訳）: Reservoir Computing (RC)はバイオインスパイアされた機械学習フレームワークであり、様々なモデルが提案されている。 RCは時系列データ処理に適したモデルであるが、メモリ容量と非線形性の間にはトレードオフがある。 本研究では,貯水池内以外のネットワーク構成を変更することにより,貯水池モデルのメモリ容量を改善する手法を提案する。 遅延法は、入力層に特定の遅延ステップ数で遅延ノードチェーンを追加することにより、過去の入力を保持する。 遅延法による入力値増加の影響を抑えるため,加算遅延数によって入力重みを分割する。 Pass throughメソッドは入力値を出力層に直接供給する。 Clusteringメソッドは、入力ノードとサーブレットノードを複数の部分に分割し、出力層でそれらを統合します。 我々はこれらの手法を、典型的なRCモデルであるエコー状態ネットワーク(ESN)と、集積回路に効率的に実装可能なカオスボルツマンマシン(CBM)-RCに適用した。 メモリ容量と非線形性の間のトレードオフを評価するため, NARMAタスクの性能評価を行い, 情報処理能力(IPC)を測定した。

関連論文リスト

• SDP: Spiking Diffusion Policy for Robotic Manipulation with Learnable Channel-Wise Membrane Thresholds [7.4357764462464635]
  本稿では,ロボット操作のためのスパイキング拡散ポリシー(SDP)学習手法を提案する。 SDPは、Spyking NeuronsとLearnerable Channel-wise membrane Thresholds (LCMT)を拡散ポリシーモデルに統合する。 我々は、ベースラインSNN法よりも高速な収束速度とともに、ANN法に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-09-17T13:53:36Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• ADC/DAC-Free Analog Acceleration of Deep Neural Networks with Frequency Transformation [2.7488316163114823]
  本稿では,アナログ領域の周波数ベーステンソル変換を用いた周波数領域ニューラルネットワークのエネルギー効率向上手法を提案する。 提案手法は,変換行列のトレーニング可能なパラメータを不要にすることで,よりコンパクトなセルを実現する。 16$times$16のクロスバーで8ビット入力処理を行い,Watt当たりの1602テラ演算のエネルギー効率を実現する。
  論文  参考訳（メタデータ） (2023-09-04T19:19:39Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• Self-Gated Memory Recurrent Network for Efficient Scalable HDR Deghosting [59.04604001936661]
  本稿では,任意の長さの動的シーケンスを浮き彫りにする新しいネットワーク型HDRデゴースト法を提案する。 本稿では,SGM(Self-Gated Memory)セルという新たなリカレントセルアーキテクチャを導入する。 提案手法は,既存の3つの公開データセットを定量的に比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-24T12:36:33Z)
• Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks [28.775355111614484]
  補助変数法は近年、多くの関心を集めているが、通信オーバーヘッドとデータ拡張の欠如に悩まされている。 本稿では,複数のコンピュータデバイスにまたがる現実的なResNetを学習するための新しい共同学習フレームワークを提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにまたがるResNetsおよびWideResNetsにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-12-10T08:45:35Z)
• Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
  大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。 一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。 本稿では2つの新しい推定法を提案する。
  論文  参考訳（メタデータ） (2021-09-06T13:42:32Z)
• Model-Size Reduction for Reservoir Computing by Concatenating Internal States Through Time [2.6872737601772956]
  Reservoir Computing(RC)は、データから複雑な時系列を非常に高速に学習できる機械学習アルゴリズムである。 エッジコンピューティングにRCを実装するためには,RCに必要な計算資源の削減が重要である。 本研究では, 貯水池の過去又は漂流状態を現時点の出力層に投入することにより, 貯水池の規模を小さくする手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T06:11:03Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。