論文の概要: Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2402.01467v1
• Date: Fri, 2 Feb 2024 14:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 14:53:36.285576
• Title: Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents
• Title（参考訳）: 強化学習エージェントにおける脳ライクなリプレイ
• Authors: Jiyi Wang, Likai Tang, Huimiao Chen, Sen Song
• Abstract要約: 我々は、繰り返しニューラルネットワークに基づく強化学習モデルを用いて、タスク最適化パラダイムの下で自然に創発的なリプレイを発見する。 私たちの仕事は、リプレイの背後にあるメカニズムを理解するための新しい道を提供する。
• 参考スコア（独自算出の注目度）: 4.603243771244471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can replay, as a widely observed neural activity pattern in brain regions, particularly in the hippocampus and neocortex, emerge in an artificial agent? If yes, does it contribute to the tasks? In this work, without heavy dependence on complex assumptions, we discover naturally emergent replay under task-optimized paradigm using a recurrent neural network-based reinforcement learning model, which mimics the hippocampus and prefrontal cortex, as well as their intercommunication and the sensory cortex input. The emergent replay in the hippocampus, which results from the episodic memory and cognitive map as well as environment observations, well resembles animal experimental data and serves as an effective indicator of high task performance. The model also successfully reproduces local and nonlocal replay, which matches the human experimental data. Our work provides a new avenue for understanding the mechanisms behind replay.
• Abstract（参考訳）: 脳の領域、特に海馬や新皮質で広く観察されている神経活動パターンとして、リプレイは人工エージェントに現れるのか? もしそうなら、それはタスクに貢献しますか? 本研究は,複雑な仮定に重依存せず,海馬と前頭前野を模倣した再帰的ニューラルネットワークを用いた強化学習モデルと,それらの相互通信と感覚野入力を用いて,タスク最適化されたパラダイムの下で自然に創発的なリプレイを見出す。 海馬での創発的なリプレイは、エピソディック記憶と認知地図と環境観察から得られるものであり、動物実験データとよく似ており、高いタスクパフォーマンスの効果的な指標となっている。 このモデルはまた、人間の実験データとマッチするローカルおよび非ローカルリプレイをうまく再現する。 私たちの仕事は、リプレイの背後にあるメカニズムを理解するための新しい道を提供する。

関連論文リスト

• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Adiabatic replay for continual learning [138.7878582237908]
  生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。 我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。 VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-23T10:18:06Z)
• Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2 [5.239932780277599]
  生成的リプレイ(GR)は、生物学的にインスパイアされたリプレイ機構であり、自己ラベルの例で学習経験を増強する。 本稿では,2つのデシラタを満たすLRL用GRのバージョンを提案する。 (a) 深層RLを用いて学習したポリシーの潜在表現の内観的密度モデリング, (b) モデルなしのエンドツーエンド学習である。
  論文  参考訳（メタデータ） (2022-08-09T22:00:28Z)
• Architecting and Visualizing Deep Reinforcement Learning Models [77.34726150561087]
  深層強化学習(Deep Reinforcement Learning, DRL)は、コンピュータが相互にコミュニケーションする方法を教えることを目的とした理論である。 本稿では,新しいAtari Pongゲーム環境,ポリシーグラデーションに基づくDRLモデル,リアルタイムネットワーク可視化,そしてDRL推論の直観と認識を構築するためのインタラクティブディスプレイを提案する。
  論文  参考訳（メタデータ） (2021-12-02T17:48:26Z)
• Learning offline: memory replay in biological and artificial reinforcement learning [1.0136215038345011]
  神経科学・AI分野におけるリプレイの機能的役割を概観する。 リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。 また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
  論文  参考訳（メタデータ） (2021-09-21T08:57:19Z)
• Human-Level Reinforcement Learning through Theory-Based Modeling, Exploration, and Planning [27.593497502386143]
  理論に基づく強化学習は、人間のような直感的な理論を使って環境を探索しモデル化する。 EMPAと呼ばれるゲームプレイエージェントのアプローチをインスタンス化する。 EMPAは90のAtariスタイルのビデオゲームで人間の学習効率と一致します。
  論文  参考訳（メタデータ） (2021-07-27T01:38:13Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Replay in Deep Learning: Current Approaches and Missing Biological Elements [33.20770284464084]
  リプレイは1つ以上の神経パターンの再活性化である。 記憶形成、検索、統合において重要な役割を果たしていると考えられている。 哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
  論文  参考訳（メタデータ） (2021-04-01T15:19:08Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)
• Dynamic Experience Replay [6.062589413216726]
  我々は, Ape-X DDPG を基盤として, ロボットによるタイトな組立作業へのアプローチを実証する。 特に、ペグ・イン・ホール(peg-in-hole)とラップ・ジョイント( lap-joint)という2つの異なるタスクで実験を行う。 私たちのアブレーション研究は、ダイナミックエクスペリエンス・リプレイが、これらの困難な環境でのトレーニング時間を大幅に短縮する重要な要素であることを示しています。
  論文  参考訳（メタデータ） (2020-03-04T23:46:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。