論文の概要: Boosting Reservoir Computing with Brain-inspired Adaptive Dynamics
- arxiv url: http://arxiv.org/abs/2504.12480v1
- Date: Wed, 16 Apr 2025 20:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-18 14:39:12.552325
- Title: Boosting Reservoir Computing with Brain-inspired Adaptive Dynamics
- Title（参考訳）: 脳にインスパイアされた適応力学を用いた貯留層コンピューティング
- Authors: Keshav Srinivasan, Dietmar Plenz, Michelle Girvan,
- Abstract要約: 貯留層コンピュータ (RC) は深層学習に代わる計算効率の良い代替手段を提供する。
その結果, RCはバランスのとれたり, わずかに過剰に抑制されたりすることで, 優れた性能を発揮することがわかった。
本稿では,E/Iバランスを局所的に調整し,標的ニューロンの発射速度を達成する自己適応機構を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Reservoir computers (RCs) provide a computationally efficient alternative to deep learning while also offering a framework for incorporating brain-inspired computational principles. By using an internal neural network with random, fixed connections$-$the 'reservoir'$-$and training only the output weights, RCs simplify the training process but remain sensitive to the choice of hyperparameters that govern activation functions and network architecture. Moreover, typical RC implementations overlook a critical aspect of neuronal dynamics: the balance between excitatory and inhibitory (E-I) signals, which is essential for robust brain function. We show that RCs characteristically perform best in balanced or slightly over-inhibited regimes, outperforming excitation-dominated ones. To reduce the need for precise hyperparameter tuning, we introduce a self-adapting mechanism that locally adjusts E/I balance to achieve target neuronal firing rates, improving performance by up to 130% in tasks like memory capacity and time series prediction compared with globally tuned RCs. Incorporating brain-inspired heterogeneity in target neuronal firing rates further reduces the need for fine-tuning hyperparameters and enables RCs to excel across linear and non-linear tasks. These results support a shift from static optimization to dynamic adaptation in reservoir design, demonstrating how brain-inspired mechanisms improve RC performance and robustness while deepening our understanding of neural computation.
- Abstract（参考訳）: 貯水池コンピュータ(RC)は、深層学習に代わる計算効率の良い代替手段を提供すると同時に、脳にインスパイアされた計算原理を組み込むためのフレームワークも提供する。
ランダムで固定された接続を持つ内部ニューラルネットワークを$-the 'Reservoir'$-$および出力重みのみのトレーニングを使用することで、RCはトレーニングプロセスを簡素化するが、アクティベーション関数とネットワークアーキテクチャを管理するハイパーパラメータの選択には敏感である。
さらに、典型的なRC実装は、興奮性信号と抑制性信号(E-I)のバランスという、強靭な脳機能に不可欠な神経力学の重要な側面を見落としている。
RCは, バランスのとれたり, わずかに過剰に抑制されたりすることで, 励起支配型よりも優れていた。
高精度なハイパーパラメータチューニングの必要性を低減するため,E/Iバランスを局所的に調整し,目標ニューロンの発射速度を達成し,メモリ容量や時系列予測などのタスクにおいて,グローバルに調整されたRCと比較して最大130%の性能向上を実現する自己適応機構を導入する。
標的ニューロンの発射速度に脳にインスパイアされた不均一性を組み込むことで、微調整されたハイパーパラメータの必要性をさらに減らし、RCが線形および非線形のタスクにまたがるエクササイズを可能にする。
これらの結果は、静的最適化から貯水池設計の動的適応へのシフトをサポートし、脳にインスパイアされたメカニズムが、ニューラルネットワークの理解を深めながら、RCの性能と堅牢性をどのように改善するかを実証する。
関連論文リスト
- A Survey on Reservoir Computing and its Interdisciplinary Applications
Beyond Traditional Machine Learning [17.865755866792643]
Reservoir Computing (RC) は、ニューロンがランダムに接続されたリカレントニューラルネットワークである。
モデルのリッチなダイナミクス、線形分離性、メモリ容量は、単純な線形読み出しによって応答を生成する。
RCは、様々な物理ハードウェア実装で複雑な力学が実現できることが示されているため、機械学習以外の領域にまたがっている。
論文 参考訳（メタデータ） (2023-07-27T05:20:20Z) - Neuromorphic Control using Input-Weighted Threshold Adaptation [13.237124392668573]
比例積分微分(PID)コントローラのような基本的な低レベルコントローラでさえ複製することは依然として困難である。
本稿では,学習中に比例経路,積分経路,微分経路を組み込んだニューロモルフィック制御器を提案する。
本研究では,外乱の存在下での飛行によるバイオインスパイアされたアルゴリズムの安定性を実証する。
論文 参考訳（メタデータ） (2023-04-18T07:21:24Z) - Active Predicting Coding: Brain-Inspired Reinforcement Learning for
Sparse Reward Robotic Control Problems [79.07468367923619]
ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。
我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。
提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
論文 参考訳（メタデータ） (2022-09-19T16:49:32Z) - Near-optimal control of dynamical systems with neural ordinary
differential equations [0.0]
ディープラーニングとニューラルネットワークに基づく最適化の最近の進歩は、高次元力学系を含む制御問題を解くのに役立つ方法の開発に寄与している。
まず、時間を通して切り詰められた非切り抜きのバックプロパゲーションが、実行時のパフォーマンスとニューラルネットワークが最適な制御関数を学習する能力にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2022-06-22T14:11:11Z) - Learning to Modulate Random Weights: Neuromodulation-inspired Neural
Networks For Efficient Continual Learning [1.9580473532948401]
生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。
学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
論文 参考訳（メタデータ） (2022-04-08T21:12:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳（メタデータ） (2021-02-18T14:53:12Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - VOR Adaptation on a Humanoid iCub Robot Using a Spiking Cerebellar Model [0.0]
我々は、本物のロボット体(iCub)を操作することができる適応リアルタイム制御ループに、スパイク小脳モデルを組み込む。
本研究の目的は、小脳神経基質と分散可塑性の組み合わせが小脳神経活動を形作って運動適応を仲介する方法を明らかにすることである。
論文 参考訳（メタデータ） (2020-03-03T09:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。