論文の概要: An introduction to reinforcement learning for neuroscience

• arxiv url: http://arxiv.org/abs/2311.07315v2
• Date: Thu, 1 Aug 2024 16:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 14:45:13.288162
• Title: An introduction to reinforcement learning for neuroscience
• Title（参考訳）: 神経科学のための強化学習入門
• Authors: Kristopher T. Jensen,
• Abstract要約: 強化学習は、時間差学習のための報酬予測エラー信号としてドーパミンに関する初期の研究から、神経科学において豊富な歴史を持っている。 近年の研究は、ドーパミンが深層学習で普及した「分散強化学習」の形式を実装できる可能性を示唆している。
• 参考スコア（独自算出の注目度）: 5.0401589279256065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning has a rich history in neuroscience, from early work on dopamine as a reward prediction error signal for temporal difference learning (Schultz et al., 1997) to recent work suggesting that dopamine could implement a form of 'distributional reinforcement learning' popularized in deep learning (Dabney et al., 2020). Throughout this literature, there has been a tight link between theoretical advances in reinforcement learning and neuroscientific experiments and findings. As a result, the theories describing our experimental data have become increasingly complex and difficult to navigate. In this review, we cover the basic theory underlying classical work in reinforcement learning and build up to an introductory overview of methods in modern deep reinforcement learning that have found applications in systems neuroscience. We start with an overview of the reinforcement learning problem and classical temporal difference algorithms, followed by a discussion of 'model-free' and 'model-based' reinforcement learning together with methods such as DYNA and successor representations that fall in between these two extremes. Throughout these sections, we highlight the close parallels between such machine learning methods and related work in both experimental and theoretical neuroscience. We then provide an introduction to deep reinforcement learning with examples of how these methods have been used to model different learning phenomena in systems neuroscience, such as meta-reinforcement learning (Wang et al., 2018) and distributional reinforcement learning (Dabney et al., 2020). Code that implements the methods discussed in this work and generates the figures is also provided.
• Abstract（参考訳）: 強化学習は、時間差学習のための報酬予測エラー信号としてのドーパミンの初期の研究(Schultz et al , 1997)から、最近の研究は、ドーパミンが深層学習で普及した「分配強化学習」の形式を実装可能であることを示唆している(Dabney et al , 2020)。 この論文を通じて、強化学習の理論的進歩と神経科学実験と研究結果の間には密接な関係がある。 その結果、実験データを記述する理論はますます複雑になり、ナビゲートが困難になっている。 本稿では、強化学習における古典的研究の基礎的理論を概説し、システム神経科学の応用を見いだした現代の深層強化学習における手法の入門的概要を構築する。 まず、強化学習問題と古典的時間差分アルゴリズムの概要、続いて、DYNAなどの手法とこれら2つの極端の間に散在する後続表現とともに、「モデルフリー」および「モデルベース」強化学習について議論する。 これらのセクションを通じて、実験と理論的神経科学の両方における機械学習手法と関連する研究の類似点を強調した。 次に、これらの手法が、メタ強化学習(Wang et al , 2018)や分布強化学習(Dabney et al , 2020)など、システム神経科学における異なる学習現象のモデル化に使われている例を紹介する。 この作業で議論されたメソッドを実装し、図を生成するコードも提供される。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Lifelong Reinforcement Learning via Neuromodulation [13.765526492965853]
  進化は、高度に効果的な適応学習機能と意思決定戦略を持つ動物や人間に影響を与えた。 これらの理論の中心であり、神経科学の証拠を学習に組み込むことが神経調節システムである。
  論文  参考訳（メタデータ） (2024-08-15T22:53:35Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Curriculum effects and compositionality emerge with in-context learning in neural networks [15.744573869783972]
  In-context learning (ICL) が可能なネットワークは、ルールが支配するタスクにおいて、人間のような学習や構成の振る舞いを再現できることを示す。 我々の研究は、創発性ICLがニューラルネットワークに、伝統的に帰属するものと根本的に異なる学習特性を持たせる方法を示している。
  論文  参考訳（メタデータ） (2024-02-13T18:55:27Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Mixture-of-Variational-Experts for Continual Learning [0.0]
  学習と忘れのトレードオフを促進する最適原理を提案する。 我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T06:32:06Z)
• On the Evolution of Neuron Communities in a Deep Learning Architecture [0.7106986689736827]
  本稿では,ディープラーニングに基づく分類モデルのニューロン活性化パターンについて検討する。 コミュニティの品質(モジュラリティ)とエントロピーの両方が、ディープラーニングモデルのパフォーマンスと密接に関連していることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:09:55Z)
• Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
  強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。 近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。 転校学習は 強化学習が直面する様々な課題に 対処するために生まれました
  論文  参考訳（メタデータ） (2020-09-16T18:38:54Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Reinforcement Learning and its Connections with Neuroscience and Psychology [0.0]
  我々は,脳内の学習と意思決定をモデル化するための候補として,強化学習が有望な候補であることを示す神経科学と心理学の両方の知見をレビューした。 次に、このRLと神経科学と心理学の関係と、AIと脳科学の両方の研究の進展における役割について論じる。
  論文  参考訳（メタデータ） (2020-06-25T04:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。