論文の概要: A Computational Theory of Learning Flexible Reward-Seeking Behavior with Place Cells

• arxiv url: http://arxiv.org/abs/2204.11843v1
• Date: Fri, 22 Apr 2022 16:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 13:09:07.404739
• Title: A Computational Theory of Learning Flexible Reward-Seeking Behavior with Place Cells
• Title（参考訳）: プレイスセルを用いたフレキシブルリワード探索行動の計算理論
• Authors: Yuanxiang Gao
• Abstract要約: 既存の計算モデルは生物学的な妥当性が欠けているか、環境が変化すると行動の柔軟性に欠ける。 本稿では,生物の信頼性を向上し,行動の柔軟性を向上する計算理論を提案する。 我々はこの理論を,MuJoCo物理シミュレータにおいて高忠実度仮想ラットに実装する。
• 参考スコア（独自算出の注目度）: 2.030567625639093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An important open question in computational neuroscience is how various spatially tuned neurons, such as place cells, are used to support the learning of reward-seeking behavior of an animal. Existing computational models either lack biological plausibility or fall short of behavioral flexibility when environments change. In this paper, we propose a computational theory that achieves behavioral flexibility with better biological plausibility. We first train a mixture of Gaussian distributions to model the ensemble of firing fields of place cells. Then we propose a Hebbian-like rule to learn the synaptic strength matrix among place cells. This matrix is interpreted as the transition rate matrix of a continuous time Markov chain to generate the sequential replay of place cells. During replay, the synaptic strengths from place cells to medium spiny neurons (MSN) are learned by a temporal-difference like rule to store place-reward associations. After replay, the activation of MSN will ramp up when an animal approaches the rewarding place, so the animal can move along the direction where the MSN activation is increasing to find the rewarding place. We implement our theory into a high-fidelity virtual rat in the MuJoCo physics simulator. In a complex maze, the rat shows significantly better learning efficiency and behavioral flexibility than a rat that implements a neuroscience-inspired reinforcement learning algorithm, deep Q-network.
• Abstract（参考訳）: 計算神経科学における重要な疑問は、プレース細胞のような空間的に調整されたニューロンが、動物の報酬探索行動の学習にどのように用いられるかである。 既存の計算モデルは生物学的な可能性に欠けるか、環境が変化すると行動の柔軟性に欠ける。 本稿では, 生物的信頼性を向上し, 行動の柔軟性を実現する計算理論を提案する。 まず, ガウス分布の混合を訓練し, プレースセルの焼成場をモデル化した。 次に,位置細胞間のシナプス強度行列を学習するためのヘビアン様規則を提案する。 このマトリックスは、連続時間マルコフ連鎖の遷移速度行列として解釈され、位置細胞のシーケンシャルリプレイを生成する。 リプレイ中、場所細胞から中脊髄ニューロン(MSN)へのシナプス強度は、場所-逆相関を記憶する規則のような時間差によって学習される。 リプレイ後、動物が報奨場所に近づくとMSNの活性化が増加するので、動物はMSNの活性化が増加する方向に沿って移動して報奨場所を見つけることができる。 我々はこの理論をMuJoCo物理シミュレータにおいて高忠実性仮想ラットに実装する。 複雑な迷路において、ラットは神経科学に触発された強化学習アルゴリズムであるディープqネットワークを実装したラットよりも学習効率と行動の柔軟性が著しく向上する。

関連論文リスト

• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Sequence learning in a spiking neuronal network with memristive synapses [0.0]
  脳計算の中心にある中核的な概念は、シーケンス学習と予測である。 ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。 シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2022-11-29T21:07:23Z)
• A Computational Model of Learning Flexible Navigation in a Maze by Layout-Conforming Replay of Place Cells [2.030567625639093]
  近年の研究では、睡眠時や運動時における海馬の場所細胞(PC)の再活性化は、障壁を回避できる軌道を描いていることが示されている。 このようなレイアウトに適合したリプレイは、動的に変化する迷路の中での動物の柔軟なナビゲーションの学習を支援する場所細胞の活動に光を当てる。 本稿では,レイアウトコンフォーミングなリプレイを生成する計算モデルを提案し,そのようなリプレイが迷路内の柔軟なナビゲーションの学習をいかに促すかを説明する。
  論文  参考訳（メタデータ） (2022-09-18T14:12:01Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment [57.91534223695695]
  我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。 提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
  論文  参考訳（メタデータ） (2021-02-25T02:13:52Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Continual Learning with Deep Artificial Neurons [0.0]
  本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。 ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。 適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
  論文  参考訳（メタデータ） (2020-11-13T17:50:10Z)
• Learning compositional functions via multiplicative weight updates [97.9457834009578]
  乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2020-06-25T17:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。