論文の概要: Neuroplastic Expansion in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.07994v1
• Date: Thu, 10 Oct 2024 14:51:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 06:05:02.981786
• Title: Neuroplastic Expansion in Deep Reinforcement Learning
• Title（参考訳）: 深部強化学習における神経可塑性拡大
• Authors: Jiashun Liu, Johan Obando-Ceron, Aaron Courville, Ling Pan,
• Abstract要約: 本稿では,認知科学における皮質拡大に触発された新しいアプローチであるNeuroplastic Expansion(NE)を提案する。 NEは、ネットワークを小さな初期サイズからフル次元に動的に拡大することにより、トレーニングプロセス全体を通して学習性と適応性を維持する。 本手法は, 1) 電位勾配に基づく弾性ニューロン生成, (2) ネットワーク表現性を最適化するための休眠ニューロンプルーニング, (3) 経験的考察によるニューロン統合の3つの重要な要素で設計されている。
• 参考スコア（独自算出の注目度）: 9.297543779239826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The loss of plasticity in learning agents, analogous to the solidification of neural pathways in biological brains, significantly impedes learning and adaptation in reinforcement learning due to its non-stationary nature. To address this fundamental challenge, we propose a novel approach, Neuroplastic Expansion (NE), inspired by cortical expansion in cognitive science. NE maintains learnability and adaptability throughout the entire training process by dynamically growing the network from a smaller initial size to its full dimension. Our method is designed with three key components: (1) elastic neuron generation based on potential gradients, (2) dormant neuron pruning to optimize network expressivity, and (3) neuron consolidation via experience review to strike a balance in the plasticity-stability dilemma. Extensive experiments demonstrate that NE effectively mitigates plasticity loss and outperforms state-of-the-art methods across various tasks in MuJoCo and DeepMind Control Suite environments. NE enables more adaptive learning in complex, dynamic environments, which represents a crucial step towards transitioning deep reinforcement learning from static, one-time training paradigms to more flexible, continually adapting models.
• Abstract（参考訳）: 学習エージェントの可塑性の喪失は、生物学的脳における神経経路の固化と類似しており、非定常性による強化学習の学習と適応を著しく妨げている。 この根本的な課題に対処するために,認知科学における皮質拡大に触発された新しいアプローチであるNeuroplastic Expansion(NE)を提案する。 NEは、ネットワークを小さな初期サイズからフル次元に動的に拡大することにより、トレーニングプロセス全体を通して学習性と適応性を維持します。 本手法は, 1) 電位勾配に基づく弾性ニューロン生成, (2) ネットワーク表現性を最適化するための休眠ニューロンプルーニング, (3) 可塑性安定性ジレンマのバランスをとるための経験的考察によるニューロンの凝縮の3つの重要な要素で設計されている。 広範囲にわたる実験により、NEはMuJoCoおよびDeepMind Control Suite環境の様々なタスクにおいて、可塑性損失を効果的に軽減し、最先端の手法より優れていることが示された。 NEは複雑な動的環境において、より適応的な学習を可能にする。これは、静的な1回のトレーニングパラダイムから、より柔軟で継続的な適応モデルに移行するための重要なステップである。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking Neural Networks [9.25919593660244]
  スパイクニューラルネットワーク(SNN)の新しいパラダイム 塑性駆動学習フレームワーク(PDLF) PDLFは機能的およびシナプス依存的塑性の概念を再定義する。
  論文  参考訳（メタデータ） (2023-08-23T11:11:31Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks [11.730984231143108]
  発達的可塑性は、継続的な学習中に脳の構造を形成する際に顕著な役割を果たす。 ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮方法は、脳の発達する可塑性機構からほとんどインスピレーションを受けない。 本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングからインスピレーションを得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T05:26:51Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity [14.19992298135814]
  このような神経修飾塑性を持つ人工ニューラルネットワークは、勾配降下でトレーニングできることを初めて示す。 神経変調塑性は、強化学習と教師あり学習の両方においてニューラルネットワークの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-02-24T23:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。