論文の概要: Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
- arxiv url: http://arxiv.org/abs/2504.19657v3
- Date: Thu, 14 Aug 2025 08:10:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 15:52:16.863923
- Title: Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
- Title（参考訳）: 記憶容量のスケーリング挙動と貯留型リカレントニューラルネットワークの非線形計算能力のニューロン相関
- Authors: Shotaro Takasu, Toshio Aoyagi,
- Abstract要約: 貯留層コンピューティングはリアルタイム情報処理のための強力なフレームワークである。
本稿では,リカレントニューラルネットワーク(RNN)の計算能力について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir computing is a powerful framework for real-time information processing, characterized by its high computational ability and quick learning, with applications ranging from machine learning to biological systems. In this paper, we investigate how the computational ability of reservoir recurrent neural networks (RNNs) scales with an increasing number of readout neurons. First, we demonstrate that the memory capacity of a reservoir RNN scales sublinearly with the number of readout neurons. To elucidate this observation, we develop a theoretical framework for analytically deriving memory capacity that incorporates the effect of neuronal correlations, which have been ignored in prior theoretical work for analytical simplicity. Our theory successfully relates the sublinear scaling of memory capacity to the strength of neuronal correlations. Furthermore, we show this principle holds across diverse types of RNNs, even those beyond the direct applicability of our theory. Next, we numerically investigate the scaling behavior of nonlinear computational ability, which, alongside memory capacity, is crucial for overall computational performance. Our numerical simulations reveal that as memory capacity growth becomes sublinear, increasing the number of readout neurons successively enables nonlinear processing at progressively higher polynomial orders. Our theoretical framework suggests that neuronal correlations govern not only memory capacity but also the sequential growth of nonlinear computational capabilities. Our findings establish a foundation for designing scalable and cost-effective reservoir computing, providing novel insights into the interplay among neuronal correlations, linear memory, and nonlinear processing.
- Abstract（参考訳）: 貯留層コンピューティングはリアルタイム情報処理のための強力なフレームワークであり、その高い計算能力と迅速な学習を特徴とし、機械学習から生物学的システムまで幅広い応用がある。
本稿では,リカレントニューラルネットワーク(RNN)の計算能力について検討する。
まず, 貯水池RNNのメモリ容量が, 読み出しニューロンの数に比例してサブ線形にスケールできることを実証する。
この観察を解明するために、我々は、解析的単純性のための以前の理論的研究で無視された神経相関の影響を取り入れた、メモリ容量を解析的に導出する理論的枠組みを開発する。
我々の理論は、記憶能力のサブ線形スケーリングと神経相関の強さをうまく関連づけている。
さらに、この原理は、我々の理論の直接的な適用性を超えても、様々な種類のRNNにまたがっていることを示す。
次に,非線形計算能力のスケーリング挙動を数値的に検討し,メモリ容量とともに計算性能の向上に不可欠であることを示す。
数値シミュレーションにより、メモリ容量の増大がサブリニア化するにつれて、読み出しニューロンの数が増加し、多項式順序が徐々に高くなる非線形処理が可能となった。
我々の理論的枠組みは、記憶能力だけでなく非線形計算能力の連続的な成長も神経相関が支配していることを示唆している。
本研究は, スケーラブルで費用対効果の高い貯水池コンピューティングを設計するための基盤を確立し, 神経相関, 線形メモリ, 非線形処理の相互作用に関する新たな知見を提供する。
関連論文リスト
- NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [68.89389652724378]
NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。
内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。
NOBLEは、実際の実験データに基づいて検証された最初のスケールアップされたディープラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-06-05T01:01:18Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Sequential Memory with Temporal Predictive Coding [6.228559238589584]
時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。
我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
論文 参考訳（メタデータ） (2023-05-19T20:03:31Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳（メタデータ） (2022-04-05T17:13:36Z) - Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
神経相関は, 重み行列を用いて効率的に推定できることが示唆された。
神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
論文 参考訳（メタデータ） (2022-01-22T15:01:50Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - A Neural Dynamic Model based on Activation Diffusion and a
Micro-Explanation for Cognitive Operations [4.416484585765028]
記憶の神経機構は、人工知能における表現の問題と非常に密接な関係を持っている。
脳内のニューロンのネットワークとその情報処理のシミュレーションを行う計算モデルが提案された。
論文 参考訳（メタデータ） (2020-11-27T01:34:08Z) - On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis [30.75240284934018]
本稿では,線形関係から生成されたデータから連続時間線形RNNを学習するための単純だが代表的な設定について考察する。
このような線形汎函数の普遍近似定理を証明し、近似率とそのメモリとの関係を特徴づける。
統一されたテーマはメモリの非自明な効果であり、これは我々のフレームワークで正確に記述できる概念である。
論文 参考訳（メタデータ） (2020-09-16T16:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。