論文の概要: Predictive auxiliary objectives in deep RL mimic learning in the brain
- arxiv url: http://arxiv.org/abs/2310.06089v3
- Date: Tue, 29 Oct 2024 18:12:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:23:12.606463
- Title: Predictive auxiliary objectives in deep RL mimic learning in the brain
- Title（参考訳）: 深部RL模倣学習における予測的補助的目的
- Authors: Ching Fang, Kimberly L Stachenfeld,
- Abstract要約: 深層強化学習システムにおいて,予測補助目的が表現学習に与える影響について検討した。
予測的目的は,特に資源限定アーキテクチャにおける学習の改善と安定化を図っている。
我々は、RLシステムの補助的予測モデルと、記憶誘導行動を支援するための予測モデルを学ぶと考えられる海馬との関係を描いている。
- 参考スコア（独自算出の注目度）: 2.6703221234079946
- License:
- Abstract: The ability to predict upcoming events has been hypothesized to comprise a key aspect of natural and machine cognition. This is supported by trends in deep reinforcement learning (RL), where self-supervised auxiliary objectives such as prediction are widely used to support representation learning and improve task performance. Here, we study the effects predictive auxiliary objectives have on representation learning across different modules of an RL system and how these mimic representational changes observed in the brain. We find that predictive objectives improve and stabilize learning particularly in resource-limited architectures, and we identify settings where longer predictive horizons better support representational transfer. Furthermore, we find that representational changes in this RL system bear a striking resemblance to changes in neural activity observed in the brain across various experiments. Specifically, we draw a connection between the auxiliary predictive model of the RL system and hippocampus, an area thought to learn a predictive model to support memory-guided behavior. We also connect the encoder network and the value learning network of the RL system to visual cortex and striatum in the brain, respectively. This work demonstrates how representation learning in deep RL systems can provide an interpretable framework for modeling multi-region interactions in the brain. The deep RL perspective taken here also suggests an additional role of the hippocampus in the brain -- that of an auxiliary learning system that benefits representation learning in other regions.
- Abstract（参考訳）: 今後の出来事を予測する能力は、自然と機械の認知の重要な側面を構成すると仮定されている。
これは深層強化学習(RL)のトレンドに支えられ、予測などの自己監督的補助目的が表現学習やタスクパフォーマンス向上に広く利用されている。
本稿では、RLシステムの異なるモジュール間の表現学習における予測補助目標の効果と、脳内で観察される表現変化を模倣する方法について検討する。
予測対象は,特に資源限定アーキテクチャにおいて学習の改善と安定化を図っている。
さらに、このRL系における表現的変化は、様々な実験において脳内で観察される神経活動の変化と顕著に類似していることが判明した。
具体的には、RLシステムの補助的予測モデルと、記憶誘導行動を支援するための予測モデルを学ぶと考えられる海馬との関係を描いている。
また,脳の視覚野と線条体にそれぞれエンコーダネットワークとRLシステムの値学習ネットワークを接続する。
この研究は、深部RLシステムにおける表現学習が、脳内の多領域相互作用をモデル化するための解釈可能なフレームワークを提供する方法を示す。
ここでの深いRLの視点は、他の領域での表現学習の恩恵を受ける補助学習システムの脳における海馬のさらなる役割を示唆している。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳（メタデータ） (2023-09-16T09:15:37Z) - Language Knowledge-Assisted Representation Learning for Skeleton-Based
Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。
LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T08:29:16Z) - Objectives Matter: Understanding the Impact of Self-Supervised
Objectives on Vision Transformer Representations [13.437097059358067]
本研究では,再建型学習機能と共同埋め込み型学習機能との相違について述べる。
結合埋め込み特性は,異なる目的が異なる情報分布を駆動するため,分類のための線形プローブ転送の精度が向上することがわかった。
論文 参考訳（メタデータ） (2023-04-25T18:48:23Z) - Can Offline Reinforcement Learning Help Natural Language Understanding? [31.788133426611587]
オフライン強化学習(RL)と言語モデリング(LM)の関連性について検討する。
RLとLMは、局所的および長期的依存に依存する現在の状態と以前の状態に基づいて、次の状態を予測するのに類似している。
実験結果から, RL事前学習モデルでは, LM学習目標を用いたモデルと比較すると, 性能が良好であることが示唆された。
論文 参考訳（メタデータ） (2022-09-15T02:55:10Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
モデルベース強化学習(RL)のための修正目的を提案する。
相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。
本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
論文 参考訳（メタデータ） (2022-04-18T23:09:23Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Divergent representations of ethological visual inputs emerge from
supervised, unsupervised, and reinforcement learning [20.98896935012773]
8つの異なる畳み込みニューラルネットワークによって学習された表現を比較する。
強化学習で訓練されたネットワークは,他のネットワークと大きく異なることがわかった。
論文 参考訳（メタデータ） (2021-12-03T17:18:09Z) - Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。
本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。
我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文 参考訳（メタデータ） (2020-05-12T17:40:36Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。