Fugu-MT 論文翻訳(概要): Episodic memory governs choices: An RNN-based reinforcement learning model for decision-making task

論文の概要: Episodic memory governs choices: An RNN-based reinforcement learning model for decision-making task

arxiv url: http://arxiv.org/abs/2103.03679v1
Date: Sun, 24 Jan 2021 04:33:07 GMT
ステータス: 処理完了
システム内更新日: 2021-03-16 09:09:16.873109
Title: Episodic memory governs choices: An RNN-based reinforcement learning model for decision-making task
Title（参考訳）: エピソード記憶は選択を支配する:意思決定タスクのためのRNNベースの強化学習モデル
Authors: Xiaohan Zhang, Lu Liu, Guodong Long, Jing Jiang, Shenquan Liu
Abstract要約: RNNベースのActor-Criticフレームワークを開発し、サルの意思決定タスクに類似した2つのタスクを解決します。私たちは、神経科学のオープンな質問を探ろうとしています:海馬のエピソード記憶は、最終的に将来の決定を支配するために選択されるべきです。
参考スコア（独自算出の注目度）: 24.96447960548042
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Typical methods to study cognitive function are to record the electrical activities of animal neurons during the training of animals performing behavioral tasks. A key problem is that they fail to record all the relevant neurons in the animal brain. To alleviate this problem, we develop an RNN-based Actor-Critic framework, which is trained through reinforcement learning (RL) to solve two tasks analogous to the monkeys' decision-making tasks. The trained model is capable of reproducing some features of neural activities recorded from animal brain, or some behavior properties exhibited in animal experiments, suggesting that it can serve as a computational platform to explore other cognitive functions. Furthermore, we conduct behavioral experiments on our framework, trying to explore an open question in neuroscience: which episodic memory in the hippocampus should be selected to ultimately govern future decisions. We find that the retrieval of salient events sampled from episodic memories can effectively shorten deliberation time than common events in the decision-making process. The results indicate that salient events stored in the hippocampus could be prioritized to propagate reward information, and thus allow decision-makers to learn a strategy faster.
Abstract（参考訳）: 認知機能を研究する典型的な方法は、行動タスクを行う動物の訓練中の動物のニューロンの電気活動を記録することである。重要な問題は、彼らは動物の脳内のすべての関連ニューロンを記録できないことです。この問題を解決するために,強化学習(rl)によって学習し,サルの意思決定タスクに類似した2つの課題を解決するrnnベースのアクタ-クリティックフレームワークを開発した。訓練されたモデルは、動物の脳から記録された神経活動のいくつかの特徴、または動物実験で示された行動特性を再現することができ、他の認知機能を調べるための計算プラットフォームとして機能することを示唆している。さらに、我々は神経科学におけるオープンな疑問を探究するために、行動実験を行い、海馬のエピソディクス記憶を選択すべきかどうかを究極的に決定する。エピソード記憶から抽出された有意な事象の検索は、意思決定プロセスにおける一般的な出来事よりも審議時間を効果的に短縮できることが判明した。以上の結果から,海馬に蓄積された有能なイベントを優先して報奨情報を伝達し,意思決定者がより早く戦略を学習できることが示唆された。