論文の概要: A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2407.03436v2
• Date: Wed, 19 Mar 2025 16:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:29:57.296615
• Title: A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents
• Title（参考訳）: 深層強化学習エージェントの表現学習における環境複雑さの役割
• Authors: Andrew Liu, Alla Borisyuk,
• Abstract要約: 我々は,ショートカット利用ナビゲーションタスクにおいて,深層強化学習エージェントを訓練するためのシミュレーション環境を開発する。 初期学習を開始すると,全てのエージェントが閉じたショートカット試験において最適な性能を達成できることがわかった。 その結果、キューの頻繁な提示は、キューに遭遇するエージェントに比べて、個々のノードの活動においてキューの符号化がより良くなったことが判明した。
• 参考スコア（独自算出の注目度）: 3.7314353481448337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We developed a simulated environment to train deep reinforcement learning agents on a shortcut usage navigation task, motivated by the Dual Solutions Paradigm test used for human navigators. We manipulated the frequency with which agents were exposed to a shortcut and a navigation cue, to investigate how these factors influence shortcut usage development. We find that all agents rapidly achieve optimal performance in closed shortcut trials once initial learning starts. However, their navigation speed and shortcut usage when it is open happen faster in agents with higher shortcut exposure. Analysis of the agents' artificial neural networks activity revealed that frequent presentation of a cue initially resulted in better encoding of the cue in the activity of individual nodes, compared to agents who encountered the cue less often. However, stronger cue representations were ultimately formed through the use of the cue in the context of navigation planning, rather than simply through exposure. We found that in all agents, spatial representations develop early in training and subsequently stabilize before navigation strategies fully develop, suggesting that having spatially consistent activations is necessary for basic navigation, but insufficient for advanced strategies. Further, using new analysis techniques, we found that the planned trajectory rather than the agent's immediate location is encoded in the agent's networks. Moreover, the encoding is represented at the population rather than the individual node level. These techniques could have broader applications in studying neural activity across populations of neurons or network nodes beyond individual activity patterns.
• Abstract（参考訳）: 本研究では,人間ナビゲータ用デュアルソリューション・パラダイム・テスト(Dual Solutions Paradigm test)をモチベーションとして,深層強化学習エージェントをショートカット使用ナビゲーションタスクで訓練するためのシミュレーション環境を開発した。 エージェントがショートカットとナビゲーションキューに曝露される頻度を操作し,これらの要因がショートカットの使用状況にどのように影響するかを検討した。 初期学習を開始すると,全てのエージェントがクローズドショートカット試験において迅速に最適性能を達成できることがわかった。 しかし、開封時のナビゲーション速度とショートカットの使用は、より高いショートカット露光を持つエージェントでより高速に行われる。 エージェントの人工ニューラルネットワーク活動の分析により、キューの頻繁な表示は、キューに遭遇するエージェントよりも、個々のノードのアクティビティにおけるキューのエンコーディングが良くなったことが明らかとなった。 しかし、最終的により強力なキュー表現は、単に露光によってではなく、ナビゲーション計画の文脈におけるキューの使用によって形成された。 すべてのエージェントにおいて, 空間的表現は早期に発達し, ナビゲーション戦略が完全に発達する前に安定し, 基本的なナビゲーションには空間的に一貫した活性化が必要であるが, 高度な戦略には不十分であることが示唆された。 さらに,新たな解析手法により,エージェントの即時位置よりも計画された軌道がエージェントのネットワークに符号化されることが判明した。 さらに、符号化は個々のノードレベルではなく、人口で表現される。 これらの技術は、個々の活動パターンを超えたニューロンやネットワークノードの集団にわたる神経活動の研究に幅広い応用をもたらす可能性がある。

関連論文リスト

• Enhancing Web Agents with Explicit Rollback Mechanisms [55.276852838877346]
  我々は、明示的なロールバック機構でWebエージェントを強化し、エージェントがナビゲーションの軌跡の前の状態に戻れるようにした。 このメカニズムは、モデルに検索プロセスを直接制御する柔軟性を与え、効果的で効率的なWebナビゲーション方法をもたらす。
  論文  参考訳（メタデータ） (2025-04-16T05:41:20Z)
• Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach [23.52028824411467]
  本研究では,物理ロボットを用いた実環境におけるヌンペプソデスのナビゲーションエピソードに関する大規模実験を行った。 エンドツーエンドのトレーニングから生じる推論のタイプを分析します。 本稿では,エージェントが学習した値関数が長期計画に関連があることをポストホック分析で示す。
  論文  参考訳（メタデータ） (2025-03-11T11:16:47Z)
• Mechanistic Interpretability of Reinforcement Learning Agents [0.0]
  本稿では、手続き的迷路環境下で訓練されたニューラルネットワークを用いて、強化学習(RL)エージェントの機械論的解釈可能性について検討する。 ネットワークの内部動作を分離することにより、迷路の壁や経路などの基本的な特徴を特定し、モデルの意思決定プロセスの基礎を形成しました。
  論文  参考訳（メタデータ） (2024-10-30T21:02:50Z)
• A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze [0.0]
  この研究は、モリス水迷路の2次元バージョンをナビゲートするために、深い強化学習を用いたトランスフォーマーベースのアーキテクチャを適用した。 提案アーキテクチャにより,エージェントが空間ナビゲーション戦略を効率的に学習できることを実証する。 この研究は、生物エージェントに類似した振る舞いを持つ人工エージェントの今後の研究への道のりを示唆している。
  論文  参考訳（メタデータ） (2024-10-01T13:22:56Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Comparing Active Learning Performance Driven by Gaussian Processes or Bayesian Neural Networks for Constrained Trajectory Exploration [0.0]
  現在、人間は科学的な目的を達成するためにロボットを駆動しているが、ロボットの位置によっては、情報交換と駆動コマンドがミッション遂行に不適切な遅延を引き起こす可能性がある。 科学的目的と探索戦略で符号化された自律ロボットは、通信遅延を発生させず、ミッションをより迅速に達成することができる。 能動学習アルゴリズムは知的探索の能力を提供するが、その基盤となるモデル構造は、環境の理解を正確に形成する際に、能動学習アルゴリズムの性能を変化させる。
  論文  参考訳（メタデータ） (2023-09-28T02:45:14Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Investigating Navigation Strategies in the Morris Water Maze through Deep Reinforcement Learning [4.408196554639971]
  本研究では,モリス水迷路を2次元で模擬し,深層強化学習エージェントの訓練を行う。 我々は、ナビゲーション戦略の自動分類を行い、人工エージェントが使用する戦略の分布を分析し、実験データと比較し、人間やげっ歯類と同様の学習力学を示す。
  論文  参考訳（メタデータ） (2023-06-01T18:16:16Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Emergence of Maps in the Memories of Blind Navigation Agents [68.41901534985575]
  動物ナビゲーション研究は、生物が環境の空間的表現(地図)を構築、維持する、という仮説を定めている。 私たちはマシン、具体的には人工知能(AI)ナビゲーションエージェントが、暗黙の(あるいは「メンタル」な)マップを構築しているかどうか尋ねる。 動物ナビゲーションとは異なり、エージェントの知覚システムを司法的に設計し、学習パラダイムを制御して代替ナビゲーション機構を無効化することができる。
  論文  参考訳（メタデータ） (2023-01-30T20:09:39Z)
• Multi-Object Navigation with dynamically learned neural implicit representations [10.182418917501064]
  本稿では,各エピソードにおいて動的に学習される2つのニューラル暗示表現を用いてニューラルネットワークを構築することを提案する。 マルチオブジェクトナビゲーションにおけるエージェントの評価を行い、暗黙的表現をメモリソースとして使用する場合の影響を高く示す。
  論文  参考訳（メタデータ） (2022-10-11T04:06:34Z)
• Bridging the Gap Between Learning in Discrete and Continuous Environments for Vision-and-Language Navigation [41.334731014665316]
  ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)における既存の作業のほとんどは、離散的または連続的な環境に焦点を当てている。 ナビゲーション中に候補となるウェイポイントの集合を生成するための予測器を提案する。 予測された経路点を持つ連続環境を航行するエージェントは,低レベル動作を使用するエージェントよりも有意に優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-05T14:56:14Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Deep Learning for Embodied Vision Navigation: A Survey [108.13766213265069]
  身体的視覚ナビゲーション」問題では、エージェントが3D環境をナビゲートする必要がある。 本稿では、総合的な文献調査を提供することで、視覚ナビゲーションの具体的分野における現在の研究の概要を確立することを試みる。
  論文  参考訳（メタデータ） (2021-07-07T12:09:04Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• Language-guided Navigation via Cross-Modal Grounding and Alternate Adversarial Learning [66.9937776799536]
  新たなビジョン・アンド・ランゲージナビゲーション(VLN)問題は、見えない写真リアリスティック環境において、エージェントがターゲットの場所に向かうことを学習することを目的としている。 VLNの主な課題は、主に2つの側面から生じている: まず、エージェントは動的に変化する視覚環境に対応する言語命令の有意義な段落に出席する必要がある。 そこで本稿では,エージェントにテキストと視覚の対応性を追跡する機能を持たせるために,クロスモーダルグラウンドモジュールを提案する。
  論文  参考訳（メタデータ） (2020-11-22T09:13:46Z)
• Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
  そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。 エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。 われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
  論文  参考訳（メタデータ） (2020-08-21T03:16:51Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。