論文の概要: Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2403.20163v1
• Date: Fri, 29 Mar 2024 13:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 15:34:34.153903
• Title: Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning
• Title（参考訳）: 効果的な深層強化学習のためのスパイキング・アクター・ネットワークを改良した生物学的解析可能なトポロジー
• Authors: Duzhen Zhang, Qingyu Wang, Tielin Zhang, Bo Xu,
• Abstract要約: 近年の神経科学の進歩により、ヒトの脳は報酬に基づく効果的な学習を達成していることが明らかになった。 Deep Reinforcement Learning (DRL)の成功は主に、関数近似器としてArtificial Neural Networks (ANN)を活用することによる。 そこで我々は,機能近似の新たな代替手法として,生物学的に証明可能なトポロジー改良スパイキング・アクター・ネットワーク(BPT-SAN)を提案する。
• 参考スコア（独自算出の注目度）: 15.143466733327566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of Deep Reinforcement Learning (DRL) is largely attributed to utilizing Artificial Neural Networks (ANNs) as function approximators. Recent advances in neuroscience have unveiled that the human brain achieves efficient reward-based learning, at least by integrating spiking neurons with spatial-temporal dynamics and network topologies with biologically-plausible connectivity patterns. This integration process allows spiking neurons to efficiently combine information across and within layers via nonlinear dendritic trees and lateral interactions. The fusion of these two topologies enhances the network's information-processing ability, crucial for grasping intricate perceptions and guiding decision-making procedures. However, ANNs and brain networks differ significantly. ANNs lack intricate dynamical neurons and only feature inter-layer connections, typically achieved by direct linear summation, without intra-layer connections. This limitation leads to constrained network expressivity. To address this, we propose a novel alternative for function approximator, the Biologically-Plausible Topology improved Spiking Actor Network (BPT-SAN), tailored for efficient decision-making in DRL. The BPT-SAN incorporates spiking neurons with intricate spatial-temporal dynamics and introduces intra-layer connections, enhancing spatial-temporal state representation and facilitating more precise biological simulations. Diverging from the conventional direct linear weighted sum, the BPT-SAN models the local nonlinearities of dendritic trees within the inter-layer connections. For the intra-layer connections, the BPT-SAN introduces lateral interactions between adjacent neurons, integrating them into the membrane potential formula to ensure accurate spike firing.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL)の成功は主に、関数近似器としてArtificial Neural Networks (ANN)を活用することによる。 神経科学の最近の進歩により、人間の脳は、少なくともスパイキングニューロンを空間的時間的ダイナミクスとネットワークトポロジーを生物学的に解明可能な接続パターンと組み合わせることで、効果的な報酬ベースの学習を実現することが明らかにされた。 この統合プロセスにより、スパイクニューロンは非線形樹枝樹と横方向の相互作用を通じて、層内および層内情報を効率的に結合することができる。 これら2つのトポロジの融合により、ネットワークの情報処理能力が向上し、複雑な認識の把握と意思決定手順の導出に不可欠となる。 しかし、ANNと脳ネットワークは異なる。 ANNは複雑な動的ニューロンを欠き、層内接続なしで直接線形和によって達成される層間接続のみを特徴とする。 この制限は、制約付きネットワーク表現性につながる。 そこで本研究では,DRLにおける効率的な意思決定に適した機能近似手法であるBPT-SAN(Biological-Plausible Topology Improvement Spiking Actor Network)を提案する。 BPT-SANは、スパイキングニューロンに複雑な空間的時間的ダイナミクスを導入し、層内接続を導入し、空間的時間的状態の表現を高め、より正確な生物学的シミュレーションを容易にする。 BPT-SANは、従来の直線重み付け和から分岐し、層間接続内の樹状木の局所非線形性をモデル化する。 層内接続のために、BPT-SANは隣接ニューロン間の横方向の相互作用を導入し、それらを膜電位式に統合し、正確なスパイク発火を確実にする。

関連論文リスト

• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Enhancing learning in artificial neural networks through cellular heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• A Spiking Binary Neuron -- Detector of Causal Links [0.0]
  因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。 本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-15T15:34:17Z)
• Connected Hidden Neurons (CHNNet): An Artificial Neural Network for Rapid Convergence [0.6218519716921521]
  我々は,同じ隠蔽層に隠されたニューロンが相互に相互に結合し,急速に収束する,より堅牢な人工知能ニューラルネットワークモデルを提案する。 深層ネットワークにおける提案モデルの実験研究により,従来のフィードフォワードニューラルネットワークと比較して,モデルが顕著に収束率を上昇させることを示した。
  論文  参考訳（メタデータ） (2023-05-17T14:00:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• A biologically plausible neural network for multi-channel Canonical Correlation Analysis [12.940770779756482]
  皮質錐体ニューロンは、複数の神経集団から入力を受け取り、これらの入力を別々の樹状体区画に統合する。 我々は,生物学的に妥当なニューラルネットワークで実装可能なマルチチャネルCAAアルゴリズムを提案する。 生物学的信頼性のためには、ネットワークはオンライン環境で動作し、シナプス更新ルールはローカルである必要がある。
  論文  参考訳（メタデータ） (2020-10-01T16:17:53Z)
• Nonlinear computations in spiking neural networks through multiplicative synapses [3.1498833540989413]
  非線形計算は、スパイクニューラルネットワークでうまく実装できる。 これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。 いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
  論文  参考訳（メタデータ） (2020-09-08T16:47:27Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。