論文の概要: A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2407.03436v1
• Date: Wed, 3 Jul 2024 18:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-08 20:10:41.350732
• Title: A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents
• Title（参考訳）: 深層強化学習エージェントの表現学習における環境複雑さの役割
• Authors: Andrew Liu, Alla Borisyuk,
• Abstract要約: 我々は、深層強化学習エージェントを訓練するためのシミュレーションナビゲーション環境を開発した。 ショートカットおよびナビゲーションキューへの露出頻度を変調し,異なる能力を有する人工エージェントの開発に繋がった。 これらのエージェントを駆動する人工ニューラルネットワークの符号化表現について検討し、表現学習における複雑なダイナミクスを明らかにした。
• 参考スコア（独自算出の注目度）: 3.7314353481448337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The environments where individuals live can present diverse navigation challenges, resulting in varying navigation abilities and strategies. Inspired by differing urban layouts and the Dual Solutions Paradigm test used for human navigators, we developed a simulated navigation environment to train deep reinforcement learning agents in a shortcut usage task. We modulated the frequency of exposure to a shortcut and navigation cue, leading to the development of artificial agents with differing abilities. We examined the encoded representations in artificial neural networks driving these agents, revealing intricate dynamics in representation learning, and correlated them with shortcut use preferences. Furthermore, we demonstrated methods to analyze representations across a population of nodes, which proved effective in finding patterns in what would otherwise be noisy single-node data. These techniques may also have broader applications in studying neural activity. From our observations in representation learning dynamics, we propose insights for human navigation learning, emphasizing the importance of navigation challenges in developing strong landmark knowledge over repeated exposures to landmarks alone.
• Abstract（参考訳）: 個人が住む環境は多様なナビゲーション課題を呈し、様々なナビゲーション能力と戦略をもたらす。 都市環境の異なるレイアウトと人間のナビゲータに使用されるデュアルソリューション・パラダイム・テストにインスパイアされた我々は,ショートカット作業で深層強化学習エージェントを訓練するためのシミュレートされたナビゲーション環境を開発した。 ショートカットおよびナビゲーションキューへの露出頻度を変調し,異なる能力を有する人工エージェントの開発に繋がった。 これらのエージェントを駆動する人工ニューラルネットワークにおける符号化された表現について検討し、表現学習における複雑なダイナミクスを明らかにし、それらをショートカットの使用嗜好と相関させた。 さらに,ノード群をまたいだ表現を解析する方法を実証し,ノイズの多い単一ノードデータのパターンを見つけるのに有効であることを示した。 これらの技術は神経活動の研究にも広く応用できる可能性がある。 表現学習のダイナミックスにおける観察から,ランドマークのみへの繰り返し露見よりも,ランドマーク的な知識を発達させる上でのナビゲーション課題の重要性を強調し,人間のナビゲーション学習に対する洞察を提案する。

関連論文リスト

• Enhancing Web Agents with Explicit Rollback Mechanisms [55.276852838877346]
  我々は、明示的なロールバック機構でWebエージェントを強化し、エージェントがナビゲーションの軌跡の前の状態に戻れるようにした。 このメカニズムは、モデルに検索プロセスを直接制御する柔軟性を与え、効果的で効率的なWebナビゲーション方法をもたらす。
  論文  参考訳（メタデータ） (2025-04-16T05:41:20Z)
• Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach [23.52028824411467]
  本研究では,物理ロボットを用いた実環境におけるヌンペプソデスのナビゲーションエピソードに関する大規模実験を行った。 エンドツーエンドのトレーニングから生じる推論のタイプを分析します。 本稿では,エージェントが学習した値関数が長期計画に関連があることをポストホック分析で示す。
  論文  参考訳（メタデータ） (2025-03-11T11:16:47Z)
• Mechanistic Interpretability of Reinforcement Learning Agents [0.0]
  本稿では、手続き的迷路環境下で訓練されたニューラルネットワークを用いて、強化学習(RL)エージェントの機械論的解釈可能性について検討する。 ネットワークの内部動作を分離することにより、迷路の壁や経路などの基本的な特徴を特定し、モデルの意思決定プロセスの基礎を形成しました。
  論文  参考訳（メタデータ） (2024-10-30T21:02:50Z)
• A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze [0.0]
  この研究は、モリス水迷路の2次元バージョンをナビゲートするために、深い強化学習を用いたトランスフォーマーベースのアーキテクチャを適用した。 提案アーキテクチャにより,エージェントが空間ナビゲーション戦略を効率的に学習できることを実証する。 この研究は、生物エージェントに類似した振る舞いを持つ人工エージェントの今後の研究への道のりを示唆している。
  論文  参考訳（メタデータ） (2024-10-01T13:22:56Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Comparing Active Learning Performance Driven by Gaussian Processes or Bayesian Neural Networks for Constrained Trajectory Exploration [0.0]
  現在、人間は科学的な目的を達成するためにロボットを駆動しているが、ロボットの位置によっては、情報交換と駆動コマンドがミッション遂行に不適切な遅延を引き起こす可能性がある。 科学的目的と探索戦略で符号化された自律ロボットは、通信遅延を発生させず、ミッションをより迅速に達成することができる。 能動学習アルゴリズムは知的探索の能力を提供するが、その基盤となるモデル構造は、環境の理解を正確に形成する際に、能動学習アルゴリズムの性能を変化させる。
  論文  参考訳（メタデータ） (2023-09-28T02:45:14Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Investigating Navigation Strategies in the Morris Water Maze through Deep Reinforcement Learning [4.408196554639971]
  本研究では,モリス水迷路を2次元で模擬し,深層強化学習エージェントの訓練を行う。 我々は、ナビゲーション戦略の自動分類を行い、人工エージェントが使用する戦略の分布を分析し、実験データと比較し、人間やげっ歯類と同様の学習力学を示す。
  論文  参考訳（メタデータ） (2023-06-01T18:16:16Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Emergence of Maps in the Memories of Blind Navigation Agents [68.41901534985575]
  動物ナビゲーション研究は、生物が環境の空間的表現(地図)を構築、維持する、という仮説を定めている。 私たちはマシン、具体的には人工知能(AI)ナビゲーションエージェントが、暗黙の(あるいは「メンタル」な)マップを構築しているかどうか尋ねる。 動物ナビゲーションとは異なり、エージェントの知覚システムを司法的に設計し、学習パラダイムを制御して代替ナビゲーション機構を無効化することができる。
  論文  参考訳（メタデータ） (2023-01-30T20:09:39Z)
• Multi-Object Navigation with dynamically learned neural implicit representations [10.182418917501064]
  本稿では,各エピソードにおいて動的に学習される2つのニューラル暗示表現を用いてニューラルネットワークを構築することを提案する。 マルチオブジェクトナビゲーションにおけるエージェントの評価を行い、暗黙的表現をメモリソースとして使用する場合の影響を高く示す。
  論文  参考訳（メタデータ） (2022-10-11T04:06:34Z)
• Bridging the Gap Between Learning in Discrete and Continuous Environments for Vision-and-Language Navigation [41.334731014665316]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)における既存の作業のほとんどは、離散的または連続的な環境に焦点を当てている。 ナビゲーション中に候補となるウェイポイントの集合を生成するための予測器を提案する。 予測された経路点を持つ連続環境を航行するエージェントは,低レベル動作を使用するエージェントよりも有意に優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-05T14:56:14Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Deep Learning for Embodied Vision Navigation: A Survey [108.13766213265069]
  身体的視覚ナビゲーション」問題では、エージェントが3D環境をナビゲートする必要がある。 本稿では、総合的な文献調査を提供することで、視覚ナビゲーションの具体的分野における現在の研究の概要を確立することを試みる。
  論文  参考訳（メタデータ） (2021-07-07T12:09:04Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• Language-guided Navigation via Cross-Modal Grounding and Alternate Adversarial Learning [66.9937776799536]
  新たなビジョン・アンド・ランゲージナビゲーション(VLN)問題は、見えない写真リアリスティック環境において、エージェントがターゲットの場所に向かうことを学習することを目的としている。 VLNの主な課題は、主に2つの側面から生じている: まず、エージェントは動的に変化する視覚環境に対応する言語命令の有意義な段落に出席する必要がある。 そこで本稿では,エージェントにテキストと視覚の対応性を追跡する機能を持たせるために,クロスモーダルグラウンドモジュールを提案する。
  論文  参考訳（メタデータ） (2020-11-22T09:13:46Z)
• Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
  そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。 エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。 われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
  論文  参考訳（メタデータ） (2020-08-21T03:16:51Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。