論文の概要: An introduction to reinforcement learning for neuroscience
- arxiv url: http://arxiv.org/abs/2311.07315v2
- Date: Thu, 1 Aug 2024 16:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 14:45:13.288162
- Title: An introduction to reinforcement learning for neuroscience
- Title（参考訳）: 神経科学のための強化学習入門
- Authors: Kristopher T. Jensen,
- Abstract要約: 強化学習は、時間差学習のための報酬予測エラー信号としてドーパミンに関する初期の研究から、神経科学において豊富な歴史を持っている。
近年の研究は、ドーパミンが深層学習で普及した「分散強化学習」の形式を実装できる可能性を示唆している。
- 参考スコア（独自算出の注目度）: 5.0401589279256065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning has a rich history in neuroscience, from early work on dopamine as a reward prediction error signal for temporal difference learning (Schultz et al., 1997) to recent work suggesting that dopamine could implement a form of 'distributional reinforcement learning' popularized in deep learning (Dabney et al., 2020). Throughout this literature, there has been a tight link between theoretical advances in reinforcement learning and neuroscientific experiments and findings. As a result, the theories describing our experimental data have become increasingly complex and difficult to navigate. In this review, we cover the basic theory underlying classical work in reinforcement learning and build up to an introductory overview of methods in modern deep reinforcement learning that have found applications in systems neuroscience. We start with an overview of the reinforcement learning problem and classical temporal difference algorithms, followed by a discussion of 'model-free' and 'model-based' reinforcement learning together with methods such as DYNA and successor representations that fall in between these two extremes. Throughout these sections, we highlight the close parallels between such machine learning methods and related work in both experimental and theoretical neuroscience. We then provide an introduction to deep reinforcement learning with examples of how these methods have been used to model different learning phenomena in systems neuroscience, such as meta-reinforcement learning (Wang et al., 2018) and distributional reinforcement learning (Dabney et al., 2020). Code that implements the methods discussed in this work and generates the figures is also provided.
- Abstract（参考訳）: 強化学習は、時間差学習のための報酬予測エラー信号としてのドーパミンの初期の研究(Schultz et al , 1997)から、最近の研究は、ドーパミンが深層学習で普及した「分配強化学習」の形式を実装可能であることを示唆している(Dabney et al , 2020)。
この論文を通じて、強化学習の理論的進歩と神経科学実験と研究結果の間には密接な関係がある。
その結果、実験データを記述する理論はますます複雑になり、ナビゲートが困難になっている。
本稿では、強化学習における古典的研究の基礎的理論を概説し、システム神経科学の応用を見いだした現代の深層強化学習における手法の入門的概要を構築する。
まず、強化学習問題と古典的時間差分アルゴリズムの概要、続いて、DYNAなどの手法とこれら2つの極端の間に散在する後続表現とともに、「モデルフリー」および「モデルベース」強化学習について議論する。
これらのセクションを通じて、実験と理論的神経科学の両方における機械学習手法と関連する研究の類似点を強調した。
次に、これらの手法が、メタ強化学習(Wang et al , 2018)や分布強化学習(Dabney et al , 2020)など、システム神経科学における異なる学習現象のモデル化に使われている例を紹介する。
この作業で議論されたメソッドを実装し、図を生成するコードも提供される。
関連論文リスト
- Integrating Causality with Neurochaos Learning: Proposed Approach and Research Agenda [1.534667887016089]
我々は、より優れた結果を得るために、因果学習とニューロカオス学習のアプローチを統合する方法について検討する。
本稿では,この統合による分類・予測・強化学習の促進に向けたアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-23T15:45:29Z) - A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Lifelong Reinforcement Learning via Neuromodulation [13.765526492965853]
進化は、高度に効果的な適応学習機能と意思決定戦略を持つ動物や人間に影響を与えた。
これらの理論の中心であり、神経科学の証拠を学習に組み込むことが神経調節システムである。
論文 参考訳（メタデータ） (2024-08-15T22:53:35Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳（メタデータ） (2022-07-04T11:27:08Z) - Neuro-Nav: A Library for Neurally-Plausible Reinforcement Learning [2.060642030400714]
神経可塑性強化学習のためのオープンソースライブラリNeuro-Navを提案する。
Neuro-Navは、標準環境とRLアルゴリズムのセットを提供する。
このツールキットは認知科学とRL文学の両方にわたる多くの研究から、関連する知見を再現することを示した。
論文 参考訳（メタデータ） (2022-06-06T16:33:36Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z) - Deep Reinforcement Learning and its Neuroscientific Implications [19.478332877763417]
強力な人工知能の出現は、神経科学の新しい研究方向を定義している。
深層強化学習(Deep RL)は、学習、表現、意思決定の間の相互作用を研究するための枠組みを提供する。
Deep RLは、新しい研究ツールセットと、幅広い新しい仮説を提供する。
論文 参考訳（メタデータ） (2020-07-07T19:27:54Z) - Artificial neural networks for neuroscientists: A primer [4.771833920251869]
ニューラルネットワーク(ANN)は、神経科学に注目が集まる機械学習において必須のツールである。
この教養的なプライマーでは、ANNを導入し、神経科学的な問題を研究するためにどのように成果を上げてきたかを実証する。
この数学的枠組みを神経生物学に近づけることに焦点をあてて、ANNの分析、構造、学習のカスタマイズ方法について詳述する。
論文 参考訳（メタデータ） (2020-06-01T15:08:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。