論文の概要: Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2402.01467v1
• Date: Fri, 2 Feb 2024 14:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 14:53:36.285576
• Title: Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents
• Title（参考訳）: 強化学習エージェントにおける脳ライクなリプレイ
• Authors: Jiyi Wang, Likai Tang, Huimiao Chen, Sen Song
• Abstract要約: 我々は、繰り返しニューラルネットワークに基づく強化学習モデルを用いて、タスク最適化パラダイムの下で自然に創発的なリプレイを発見する。 私たちの仕事は、リプレイの背後にあるメカニズムを理解するための新しい道を提供する。
• 参考スコア（独自算出の注目度）: 4.603243771244471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can replay, as a widely observed neural activity pattern in brain regions, particularly in the hippocampus and neocortex, emerge in an artificial agent? If yes, does it contribute to the tasks? In this work, without heavy dependence on complex assumptions, we discover naturally emergent replay under task-optimized paradigm using a recurrent neural network-based reinforcement learning model, which mimics the hippocampus and prefrontal cortex, as well as their intercommunication and the sensory cortex input. The emergent replay in the hippocampus, which results from the episodic memory and cognitive map as well as environment observations, well resembles animal experimental data and serves as an effective indicator of high task performance. The model also successfully reproduces local and nonlocal replay, which matches the human experimental data. Our work provides a new avenue for understanding the mechanisms behind replay.
• Abstract（参考訳）: 脳の領域、特に海馬や新皮質で広く観察されている神経活動パターンとして、リプレイは人工エージェントに現れるのか? もしそうなら、それはタスクに貢献しますか? 本研究は,複雑な仮定に重依存せず,海馬と前頭前野を模倣した再帰的ニューラルネットワークを用いた強化学習モデルと,それらの相互通信と感覚野入力を用いて,タスク最適化されたパラダイムの下で自然に創発的なリプレイを見出す。 海馬での創発的なリプレイは、エピソディック記憶と認知地図と環境観察から得られるものであり、動物実験データとよく似ており、高いタスクパフォーマンスの効果的な指標となっている。 このモデルはまた、人間の実験データとマッチするローカルおよび非ローカルリプレイをうまく再現する。 私たちの仕事は、リプレイの背後にあるメカニズムを理解するための新しい道を提供する。

関連論文リスト

• A Goal-Driven Approach to Systems Neuroscience [2.6451153531057985]
  人間と動物は、動的環境において様々な興味深い行動を示す。 私たちの脳が、こうした行動を可能にするために、どのようにしてこの密集した感覚情報を積極的に再構築するかは不明です。 我々は、ニューラルサーキットの統一構造モデルと機能モデルを生み出すことを約束する新しい解釈可能性の定義を提供する。
  論文  参考訳（メタデータ） (2023-11-05T16:37:53Z)
• Learning Human Cognitive Appraisal Through Reinforcement Memory Unit [63.83306892013521]
  逐次評価タスクにおける人間の認知評価の効果を生かしたリカレントニューラルネットワークのためのメモリ強調機構を提案する。 記憶増強機構を2つの正および負の強化記憶とともに評価状態を含む強化記憶ユニット(RMU)として概念化する。
  論文  参考訳（メタデータ） (2022-08-06T08:56:55Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Learning offline: memory replay in biological and artificial reinforcement learning [1.0136215038345011]
  神経科学・AI分野におけるリプレイの機能的役割を概観する。 リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。 また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
  論文  参考訳（メタデータ） (2021-09-21T08:57:19Z)
• Replay in Deep Learning: Current Approaches and Missing Biological Elements [33.20770284464084]
  リプレイは1つ以上の神経パターンの再活性化である。 記憶形成、検索、統合において重要な役割を果たしていると考えられている。 哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
  論文  参考訳（メタデータ） (2021-04-01T15:19:08Z)
• Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment [57.91534223695695]
  我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。 提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
  論文  参考訳（メタデータ） (2021-02-25T02:13:52Z)
• Episodic memory governs choices: An RNN-based reinforcement learning model for decision-making task [24.96447960548042]
  RNNベースのActor-Criticフレームワークを開発し、サルの意思決定タスクに類似した2つのタスクを解決します。 私たちは、神経科学のオープンな質問を探ろうとしています:海馬のエピソード記憶は、最終的に将来の決定を支配するために選択されるべきです。
  論文  参考訳（メタデータ） (2021-01-24T04:33:07Z)
• Association: Remind Your GAN not to Forget [11.653696510515807]
  本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。 画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2020-11-27T04:43:15Z)
• Noisy Agents: Self-supervised Exploration by Predicting Auditory Events [127.82594819117753]
  本稿では, エージェントが行動の因果的影響を理解することを奨励する, 強化学習(Reinforcement Learning, RL)の本質的なモチベーションを提案する。 ニューラルネットワークを用いて聴覚事象を予測し、予測誤差を本質的な報奨として利用し、RL探索を誘導する。 Atariゲームの実験結果から、我々の新しい本質的な動機は、最先端のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:59:08Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。