論文の概要: Lifelong Reinforcement Learning via Neuromodulation

• arxiv url: http://arxiv.org/abs/2408.08446v2
• Date: Tue, 19 Nov 2024 03:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:33:19.999048
• Title: Lifelong Reinforcement Learning via Neuromodulation
• Title（参考訳）: 神経変調による生涯強化学習
• Authors: Sebastian Lee, Samuel Liebana, Claudia Clopath, Will Dabney,
• Abstract要約: 進化は、高度に効果的な適応学習機能と意思決定戦略を持つ動物や人間に影響を与えた。 これらの理論の中心であり、神経科学の証拠を学習に組み込むことが神経調節システムである。
• 参考スコア（独自算出の注目度）: 13.765526492965853
• License:
• Abstract: Navigating multiple tasks$\unicode{x2014}$for instance in succession as in continual or lifelong learning, or in distributions as in meta or multi-task learning$\unicode{x2014}$requires some notion of adaptation. Evolution over timescales of millennia has imbued humans and other animals with highly effective adaptive learning and decision-making strategies. Central to these functions are so-called neuromodulatory systems. In this work we introduce an abstract framework for integrating theories and evidence from neuroscience and the cognitive sciences into the design of adaptive artificial reinforcement learning algorithms. We give a concrete instance of this framework built on literature surrounding the neuromodulators Acetylcholine (ACh) and Noradrenaline (NA), and empirically validate the effectiveness of the resulting adaptive algorithm in a non-stationary multi-armed bandit problem. We conclude with a theory-based experiment proposal providing an avenue to link our framework back to efforts in experimental neuroscience.
• Abstract（参考訳）: 複数のタスクをナビゲートする$\unicode{x2014}$、連続学習や生涯学習、メタ学習やマルチタスク学習の$\unicode{x2014}$requires some idea of adapt。 千年紀の時間スケールの進化は、人間や他の動物に非常に効果的な適応学習と意思決定戦略をもたらした。 これらの機能の中心は、いわゆる神経調節システムである。 本研究では,適応型人工強化学習アルゴリズムの設計に神経科学と認知科学からの理論と証拠を統合するための抽象的枠組みを導入する。 神経調節物質であるAcetylcholine (ACh) とNoradrenaline (NA) を囲む文献に基づいて構築されたこの枠組みの具体例を示し, 適応アルゴリズムの有効性を, 非定常的マルチアームバンディット問題において実証的に検証した。 我々は、我々のフレームワークを実験神経科学の取り組みに結びつけるための道を提供する理論に基づく実験提案で締めくくります。

関連論文リスト

• Meta-Dynamical State Space Models for Integrative Neural Data Analysis [8.625491800829224]
  環境間の共有構造を学習することは、ニューラルネットワークの迅速な学習と適応的な振る舞いを促進する。 ニューラル記録から潜伏ダイナミクスを学習するのと同様の作業中に、ニューラルアクティビティの共有構造を利用する作業は限られている。 本稿では,訓練動物のタスク関連神経活動から,この解空間をメタラーニングするための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-07T19:35:49Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• An introduction to reinforcement learning for neuroscience [5.0401589279256065]
  強化学習は、時間差学習のための報酬予測エラー信号としてドーパミンに関する初期の研究から、神経科学において豊富な歴史を持っている。 近年の研究は、ドーパミンが深層学習で普及した「分散強化学習」の形式を実装できる可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T13:10:52Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• When, where, and how to add new neurons to ANNs [3.0969191504482243]
  ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。 神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
  論文  参考訳（メタデータ） (2022-02-17T09:32:08Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Brain-inspired global-local learning incorporated with neuromorphic computing [35.70151531581922]
  我々は,脳に触発されたメタラーニングパラダイムと,神経力学とシナプス可塑性を取り入れた識別可能なスパイキングモデルを導入することで,ニューロモルフィックハイブリッド学習モデルを報告した。 ニューロモルフィック・ビジョン・センサにおける数ショット学習、連続学習、フォールトトレランス学習を含む複数のタスクにおいて、このモデルの利点を実証する。
  論文  参考訳（メタデータ） (2020-06-05T04:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。