論文の概要: A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2407.03436v1
• Date: Wed, 3 Jul 2024 18:27:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 20:10:41.350732
• Title: A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents
• Title（参考訳）: 深層強化学習エージェントの表現学習における環境複雑さの役割
• Authors: Andrew Liu, Alla Borisyuk,
• Abstract要約: 我々は、深層強化学習エージェントを訓練するためのシミュレーションナビゲーション環境を開発した。 ショートカットおよびナビゲーションキューへの露出頻度を変調し,異なる能力を有する人工エージェントの開発に繋がった。 これらのエージェントを駆動する人工ニューラルネットワークの符号化表現について検討し、表現学習における複雑なダイナミクスを明らかにした。
• 参考スコア（独自算出の注目度）: 3.7314353481448337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The environments where individuals live can present diverse navigation challenges, resulting in varying navigation abilities and strategies. Inspired by differing urban layouts and the Dual Solutions Paradigm test used for human navigators, we developed a simulated navigation environment to train deep reinforcement learning agents in a shortcut usage task. We modulated the frequency of exposure to a shortcut and navigation cue, leading to the development of artificial agents with differing abilities. We examined the encoded representations in artificial neural networks driving these agents, revealing intricate dynamics in representation learning, and correlated them with shortcut use preferences. Furthermore, we demonstrated methods to analyze representations across a population of nodes, which proved effective in finding patterns in what would otherwise be noisy single-node data. These techniques may also have broader applications in studying neural activity. From our observations in representation learning dynamics, we propose insights for human navigation learning, emphasizing the importance of navigation challenges in developing strong landmark knowledge over repeated exposures to landmarks alone.
• Abstract（参考訳）: 個人が住む環境は多様なナビゲーション課題を呈し、様々なナビゲーション能力と戦略をもたらす。 都市環境の異なるレイアウトと人間のナビゲータに使用されるデュアルソリューション・パラダイム・テストにインスパイアされた我々は,ショートカット作業で深層強化学習エージェントを訓練するためのシミュレートされたナビゲーション環境を開発した。 ショートカットおよびナビゲーションキューへの露出頻度を変調し,異なる能力を有する人工エージェントの開発に繋がった。 これらのエージェントを駆動する人工ニューラルネットワークにおける符号化された表現について検討し、表現学習における複雑なダイナミクスを明らかにし、それらをショートカットの使用嗜好と相関させた。 さらに,ノード群をまたいだ表現を解析する方法を実証し,ノイズの多い単一ノードデータのパターンを見つけるのに有効であることを示した。 これらの技術は神経活動の研究にも広く応用できる可能性がある。 表現学習のダイナミックスにおける観察から,ランドマークのみへの繰り返し露見よりも,ランドマーク的な知識を発達させる上でのナビゲーション課題の重要性を強調し,人間のナビゲーション学習に対する洞察を提案する。

関連論文リスト

• A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze [0.0]
  この研究は、モリス水迷路の2次元バージョンをナビゲートするために、深い強化学習を用いたトランスフォーマーベースのアーキテクチャを適用した。 提案アーキテクチャにより,エージェントが空間ナビゲーション戦略を効率的に学習できることを実証する。 この研究は、生物エージェントに類似した振る舞いを持つ人工エージェントの今後の研究への道のりを示唆している。
  論文  参考訳（メタデータ） (2024-10-01T13:22:56Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Investigating Navigation Strategies in the Morris Water Maze through Deep Reinforcement Learning [4.408196554639971]
  本研究では,モリス水迷路を2次元で模擬し,深層強化学習エージェントの訓練を行う。 我々は、ナビゲーション戦略の自動分類を行い、人工エージェントが使用する戦略の分布を分析し、実験データと比較し、人間やげっ歯類と同様の学習力学を示す。
  論文  参考訳（メタデータ） (2023-06-01T18:16:16Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Multi-Object Navigation with dynamically learned neural implicit representations [10.182418917501064]
  本稿では,各エピソードにおいて動的に学習される2つのニューラル暗示表現を用いてニューラルネットワークを構築することを提案する。 マルチオブジェクトナビゲーションにおけるエージェントの評価を行い、暗黙的表現をメモリソースとして使用する場合の影響を高く示す。
  論文  参考訳（メタデータ） (2022-10-11T04:06:34Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Deep Learning for Embodied Vision Navigation: A Survey [108.13766213265069]
  身体的視覚ナビゲーション」問題では、エージェントが3D環境をナビゲートする必要がある。 本稿では、総合的な文献調査を提供することで、視覚ナビゲーションの具体的分野における現在の研究の概要を確立することを試みる。
  論文  参考訳（メタデータ） (2021-07-07T12:09:04Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。