論文の概要: Learning fast changing slow in spiking neural networks

• arxiv url: http://arxiv.org/abs/2402.10069v2
• Date: Tue, 9 Apr 2024 15:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 19:37:28.952463
• Title: Learning fast changing slow in spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークにおける高速変化の学習
• Authors: Cristiano Capone, Paolo Muratore,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、実生活問題に適用する際の課題である。 生涯学習機械は可塑性安定パラドックスを解決しなければならない。 新たな知識の獲得と安定性の維持のバランスを取ることは、人工エージェントにとって不可欠である。
• 参考スコア（独自算出の注目度）: 3.069335774032178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) faces substantial challenges when applied to real-life problems, primarily stemming from the scarcity of available data due to limited interactions with the environment. This limitation is exacerbated by the fact that RL often demands a considerable volume of data for effective learning. The complexity escalates further when implementing RL in recurrent spiking networks, where inherent noise introduced by spikes adds a layer of difficulty. Life-long learning machines must inherently resolve the plasticity-stability paradox. Striking a balance between acquiring new knowledge and maintaining stability is crucial for artificial agents. To address this challenge, we draw inspiration from machine learning technology and introduce a biologically plausible implementation of proximal policy optimization, referred to as lf-cs (learning fast changing slow). Our approach results in two notable advancements: firstly, the capacity to assimilate new information into a new policy without requiring alterations to the current policy; and secondly, the capability to replay experiences without experiencing policy divergence. Furthermore, when contrasted with other experience replay (ER) techniques, our method demonstrates the added advantage of being computationally efficient in an online setting. We demonstrate that the proposed methodology enhances the efficiency of learning, showcasing its potential impact on neuromorphic and real-world applications.
• Abstract（参考訳）: 強化学習 (Reinforcement Learning, RL) は実生活問題に適用する場合, 環境との相互作用が限られているため, 利用可能なデータの不足が主な原因となっている。 この制限は、RLがしばしば効果的な学習のためにかなりの量のデータを必要とするという事実によって悪化する。 リカレントスパイクネットワークでRLを実装すると複雑さはさらに増大し、スパイクによって引き起こされる固有のノイズは困難を増す。 生涯学習機械は、本質的に可塑性安定パラドックスを解決しなければならない。 新たな知識の獲得と安定性の維持のバランスを取ることは、人工エージェントにとって不可欠である。 この課題に対処するために、機械学習技術からインスピレーションを得て、lf-cs(学習速度が急速に変化する)と呼ばれる、生物的にもっとも有効なポリシー最適化の実装を導入する。 第1に、現在の方針の変更を必要とせず、新しい情報を新しい方針に同化する能力、第2に、政策のばらつきを経験せずに経験を再現する能力である。 さらに,他の経験リプレイ(ER)手法と対比した場合,オンライン環境での計算効率が向上することを示す。 提案手法は学習効率を向上し,ニューロモルフィックおよび実世界の応用に対する潜在的な影響を示す。

関連論文リスト

• SHIRE: Enhancing Sample Efficiency using Human Intuition in REinforcement Learning [11.304750795377657]
  確率的図形モデル(PGM)を用いた人間の直観を符号化するフレームワークShireを提案する。 ShiREは、評価対象環境の25～78%のサンプル効率を、無視可能なオーバーヘッドコストで達成します。
  論文  参考訳（メタデータ） (2024-09-16T04:46:22Z)
• A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning [7.767611890997147]
  本研究は, 都市深部RLのドメインシフトにより, 可塑性損失が広まることを示す。 再生方法のクラスは, 様々な文脈において, 可塑性損失を連続的に軽減できることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T14:59:49Z)
• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Human-Inspired Framework to Accelerate Reinforcement Learning [1.6317061277457001]
  強化学習(Reinforcement Learning, RL)は、データサイエンスの意思決定において重要であるが、サンプルの不効率に悩まされている。 本稿では,RLアルゴリズムのサンプル効率を向上させるための,人間に触発された新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-28T13:15:04Z)
• IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
  少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。 行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。 本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
  論文  参考訳（メタデータ） (2021-06-23T03:43:10Z)
• Deep RL With Information Constrained Policies: Generalization in Continuous Control [21.46148507577606]
  情報フローに対する自然な制約は, 連続制御タスクにおいて, 人工エージェントに干渉する可能性があることを示す。 CLAC(Capacity-Limited Actor-Critic)アルゴリズムを実装した。 実験の結果、CLACは代替手法と比較して、トレーニング環境と修正テスト環境の一般化に改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-10-09T15:42:21Z)
• Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
  政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。 提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。 また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
  論文  参考訳（メタデータ） (2020-06-18T17:34:50Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。