論文の概要: Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of recurrent neural networks
- arxiv url: http://arxiv.org/abs/2504.19657v1
- Date: Mon, 28 Apr 2025 10:17:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.400482
- Title: Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of recurrent neural networks
- Title（参考訳）: ニューロン相関は、リカレントニューラルネットワークのメモリ容量のスケーリング挙動と非線形計算能力を形成する
- Authors: Shotaro Takasu, Toshio Aoyagi,
- Abstract要約: 貯留層コンピューティングはリアルタイム情報処理のための強力なフレームワークである。
本研究では,リカレントニューラルネットワークのメモリ容量が,リカレントニューロンの数に比例して増加することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir computing is a powerful framework for real-time information processing, characterized by its high computational ability and quick learning, with applications ranging from machine learning to biological systems. In this paper, we demonstrate that the memory capacity of a reservoir recurrent neural network scales sublinearly with the number of readout neurons. To elucidate this phenomenon, we develop a theoretical framework for analytically deriving memory capacity, attributing the decaying growth of memory capacity to neuronal correlations. In addition, numerical simulations reveal that once memory capacity becomes sublinear, increasing the number of readout neurons successively enables nonlinear processing at progressively higher polynomial orders. Furthermore, our theoretical framework suggests that neuronal correlations govern not only memory capacity but also the sequential growth of nonlinear computational capabilities. Our findings establish a foundation for designing scalable and cost-effective reservoir computing, providing novel insights into the interplay among neuronal correlations, linear memory, and nonlinear processing.
- Abstract（参考訳）: 貯留層コンピューティングはリアルタイム情報処理のための強力なフレームワークであり、その高い計算能力と迅速な学習を特徴とし、機械学習から生物学的システムまで幅広い応用がある。
本稿では、リカレントニューラルネットワークのメモリ容量が、読み出しニューロンの数に応じてサブ線形にスケールできることを実証する。
この現象を解明するために,記憶能力の劣化に起因した記憶能力を解析的に導出する理論的枠組みを開発した。
さらに, メモリ容量がサブリニアになると, 逐次読み出しニューロン数が増加することにより, 次々に高次多項式順序での非線形処理が可能となる。
さらに, 理論的枠組みは, 記憶能力だけでなく, 非線形計算能力の逐次的成長も支配していることを示唆している。
本研究は, スケーラブルで費用対効果の高い貯水池コンピューティングを設計するための基盤を確立し, 神経相関, 線形メモリ, 非線形処理の相互作用に関する新たな知見を提供する。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Sequential Memory with Temporal Predictive Coding [6.228559238589584]
時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。
我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
論文 参考訳（メタデータ） (2023-05-19T20:03:31Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳（メタデータ） (2022-04-05T17:13:36Z) - Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
神経相関は, 重み行列を用いて効率的に推定できることが示唆された。
神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
論文 参考訳（メタデータ） (2022-01-22T15:01:50Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - A Neural Dynamic Model based on Activation Diffusion and a
Micro-Explanation for Cognitive Operations [4.416484585765028]
記憶の神経機構は、人工知能における表現の問題と非常に密接な関係を持っている。
脳内のニューロンのネットワークとその情報処理のシミュレーションを行う計算モデルが提案された。
論文 参考訳（メタデータ） (2020-11-27T01:34:08Z) - On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis [30.75240284934018]
本稿では,線形関係から生成されたデータから連続時間線形RNNを学習するための単純だが代表的な設定について考察する。
このような線形汎函数の普遍近似定理を証明し、近似率とそのメモリとの関係を特徴づける。
統一されたテーマはメモリの非自明な効果であり、これは我々のフレームワークで正確に記述できる概念である。
論文 参考訳（メタデータ） (2020-09-16T16:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。