論文の概要: An introduction to reinforcement learning for neuroscience
- arxiv url: http://arxiv.org/abs/2311.07315v3
- Date: Wed, 18 Dec 2024 08:39:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:45:29.738570
- Title: An introduction to reinforcement learning for neuroscience
- Title（参考訳）: 神経科学のための強化学習入門
- Authors: Kristopher T. Jensen,
- Abstract要約: 強化学習は神経科学の豊富な歴史を持っている。
深い強化学習は神経科学の新たな洞察につながった。
議論されたメソッドを実装して図を生成するコードも提供される。
- 参考スコア（独自算出の注目度）: 5.0401589279256065
- License:
- Abstract: Reinforcement learning (RL) has a rich history in neuroscience, from early work on dopamine as a reward prediction error signal (Schultz et al., 1997) to recent work proposing that the brain could implement a form of 'distributional reinforcement learning' popularized in machine learning (Dabney et al., 2020). There has been a close link between theoretical advances in reinforcement learning and neuroscience experiments throughout this literature, and the theories describing the experimental data have therefore become increasingly complex. Here, we provide an introduction and mathematical background to many of the methods that have been used in systems neroscience. We start with an overview of the RL problem and classical temporal difference algorithms, followed by a discussion of 'model-free', 'model-based', and intermediate RL algorithms. We then introduce deep reinforcement learning and discuss how this framework has led to new insights in neuroscience. This includes a particular focus on meta-reinforcement learning (Wang et al., 2018) and distributional RL (Dabney et al., 2020). Finally, we discuss potential shortcomings of the RL formalism for neuroscience and highlight open questions in the field. Code that implements the methods discussed and generates the figures is also provided.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、報酬予測エラー信号としてのドーパミンの初期の研究(Schultz et al , 1997)から、機械学習で普及した「分配強化学習(distributional reinforcement learning, Dabney et al , 2020)」の形式を脳に実装できるとする最近の研究(Dabney et al , 2020)まで、神経科学における豊富な歴史を持っている。
この研究全体を通して、強化学習と神経科学の実験の理論的進歩は密接に関連しており、実験データを記述する理論はますます複雑になっている。
ここでは、システムネロサイエンスで使われている多くの手法の紹介と数学的背景について述べる。
まず、RL問題の概要と古典的時間差分アルゴリズムについて、続いて'モデルフリー'、'モデルベース'、中間RLアルゴリズムについて議論する。
次に、深層強化学習を導入し、この枠組みが神経科学の新たな洞察につながったかについて議論する。
これには、メタ強化学習(Wang et al , 2018)と分散RL(Dabney et al , 2020)に特に焦点が当てられている。
最後に、神経科学におけるRL形式主義の潜在的な欠点について論じ、その分野におけるオープンな疑問を浮き彫りにする。
議論されたメソッドを実装して図を生成するコードも提供される。
関連論文リスト
- Integrating Causality with Neurochaos Learning: Proposed Approach and Research Agenda [1.534667887016089]
我々は、より優れた結果を得るために、因果学習とニューロカオス学習のアプローチを統合する方法について検討する。
本稿では,この統合による分類・予測・強化学習の促進に向けたアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-23T15:45:29Z) - A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Lifelong Reinforcement Learning via Neuromodulation [13.765526492965853]
進化は、高度に効果的な適応学習機能と意思決定戦略を持つ動物や人間に影響を与えた。
これらの理論の中心であり、神経科学の証拠を学習に組み込むことが神経調節システムである。
論文 参考訳（メタデータ） (2024-08-15T22:53:35Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳（メタデータ） (2022-07-04T11:27:08Z) - Neuro-Nav: A Library for Neurally-Plausible Reinforcement Learning [2.060642030400714]
神経可塑性強化学習のためのオープンソースライブラリNeuro-Navを提案する。
Neuro-Navは、標準環境とRLアルゴリズムのセットを提供する。
このツールキットは認知科学とRL文学の両方にわたる多くの研究から、関連する知見を再現することを示した。
論文 参考訳（メタデータ） (2022-06-06T16:33:36Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z) - Deep Reinforcement Learning and its Neuroscientific Implications [19.478332877763417]
強力な人工知能の出現は、神経科学の新しい研究方向を定義している。
深層強化学習(Deep RL)は、学習、表現、意思決定の間の相互作用を研究するための枠組みを提供する。
Deep RLは、新しい研究ツールセットと、幅広い新しい仮説を提供する。
論文 参考訳（メタデータ） (2020-07-07T19:27:54Z) - Artificial neural networks for neuroscientists: A primer [4.771833920251869]
ニューラルネットワーク(ANN)は、神経科学に注目が集まる機械学習において必須のツールである。
この教養的なプライマーでは、ANNを導入し、神経科学的な問題を研究するためにどのように成果を上げてきたかを実証する。
この数学的枠組みを神経生物学に近づけることに焦点をあてて、ANNの分析、構造、学習のカスタマイズ方法について詳述する。
論文 参考訳（メタデータ） (2020-06-01T15:08:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。