論文の概要: A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze

• arxiv url: http://arxiv.org/abs/2410.12820v1
• Date: Tue, 01 Oct 2024 13:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-20 10:10:18.552491
• Title: A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze
• Title（参考訳）: 部分的に観測可能なモリス水迷路における空間ナビゲーションのための変圧器を用いた深部強化学習手法
• Authors: Marte Eggen, Inga Strümke,
• Abstract要約: この研究は、モリス水迷路の2次元バージョンをナビゲートするために、深い強化学習を用いたトランスフォーマーベースのアーキテクチャを適用した。 提案アーキテクチャにより,エージェントが空間ナビゲーション戦略を効率的に学習できることを実証する。 この研究は、生物エージェントに類似した振る舞いを持つ人工エージェントの今後の研究への道のりを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Navigation is a fundamental cognitive skill extensively studied in neuroscientific experiments and has lately gained substantial interest in artificial intelligence research. Recreating the task solved by rodents in the well-established Morris Water Maze (MWM) experiment, this work applies a transformer-based architecture using deep reinforcement learning -- an approach previously unexplored in this context -- to navigate a 2D version of the maze. Specifically, the agent leverages a decoder-only transformer architecture serving as a deep Q-network performing effective decision making in the partially observable environment. We demonstrate that the proposed architecture enables the agent to efficiently learn spatial navigation strategies, overcoming challenges associated with a limited field of vision, corresponding to the visual information available to a rodent in the MWM. Demonstrating the potential of transformer-based models for enhancing navigation performance in partially observable environments, this work suggests promising avenues for future research in artificial agents whose behavior resembles that of biological agents. Finally, the flexibility of the transformer architecture in supporting varying input sequence lengths opens opportunities for gaining increased understanding of the artificial agent's inner representation of the environment.
• Abstract（参考訳）: ナビゲーションは神経科学実験で広く研究されている基本的な認知技術であり、近年は人工知能研究に大きな関心を集めている。 十分に確立されたモリス・ウォーター・メイズ(MWM)実験で、げっ歯類によって解決されたタスクを再現するため、この研究は、2Dバージョンの迷路をナビゲートするために、ディープ・リジッション・ラーニング (deep reinforcement learning) を用いたトランスフォーマー・ベースのアーキテクチャを適用した。 具体的には、ディープQネットワークとして機能するデコーダのみのトランスフォーマーアーキテクチャを利用して、部分的に観測可能な環境で効率的な意思決定を行う。 提案したアーキテクチャにより,MWMのロジタンに利用可能な視覚情報に対応して,限られた視野の課題を克服し,空間ナビゲーション戦略を効率的に学習できることを実証する。 この研究は、部分的に観測可能な環境での航法性能を高めるためのトランスフォーマーモデルの可能性を示すものである。 最後に、入力シーケンス長の変化をサポートするためのトランスアーキテクチャの柔軟性は、人工エージェントの内部表現の理解を深める機会を開放する。

関連論文リスト

• A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents [3.7314353481448337]
  我々は、深層強化学習エージェントを訓練するためのシミュレーションナビゲーション環境を開発した。 ショートカットおよびナビゲーションキューへの露出頻度を変調し,異なる能力を有する人工エージェントの開発に繋がった。 これらのエージェントを駆動する人工ニューラルネットワークの符号化表現について検討し、表現学習における複雑なダイナミクスを明らかにした。
  論文  参考訳（メタデータ） (2024-07-03T18:27:26Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Enhanced Low-Dimensional Sensing Mapless Navigation of Terrestrial Mobile Robots Using Double Deep Reinforcement Learning Techniques [1.191504645891765]
  地上移動ロボットのためのマップレスナビゲーションの強化を目的とした2つのアプローチを提案する。 研究手法は主に、DQN(Deep Q-Network)アルゴリズムに基づくDeep-RL戦略と、DQN(Double Deep Q-Network)アルゴリズムに基づく代替アプローチの比較分析を含む。 提案手法は3つの異なる実環境において評価され、Double Deep構造は単純なQ構造に比べて移動ロボットのナビゲーション能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-10-20T20:47:07Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Investigating Navigation Strategies in the Morris Water Maze through Deep Reinforcement Learning [4.408196554639971]
  本研究では,モリス水迷路を2次元で模擬し,深層強化学習エージェントの訓練を行う。 我々は、ナビゲーション戦略の自動分類を行い、人工エージェントが使用する戦略の分布を分析し、実験データと比較し、人間やげっ歯類と同様の学習力学を示す。
  論文  参考訳（メタデータ） (2023-06-01T18:16:16Z)
• Learning Representative Trajectories of Dynamical Systems via Domain-Adaptive Imitation [0.0]
  ドメイン適応軌道模倣のための深層強化学習エージェントDATIを提案する。 実験の結果,DATIは模擬学習と最適制御のベースライン手法よりも優れていることがわかった。 実世界のシナリオへの一般化は、海上交通における異常な動きパターンの発見を通じて示される。
  論文  参考訳（メタデータ） (2023-04-19T15:53:48Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• Teaching Agents how to Map: Spatial Reasoning for Multi-Object Navigation [11.868792440783055]
  与えられた位置におけるエージェントと到達目標の間の空間的関係を定量化する指標を推定する学習は、多目的ナビゲーション設定において高い正の影響を及ぼすことを示す。 提案された補助的損失で訓練された文献の学習ベースのエージェントは、マルチオブジェクトナビゲーションチャレンジへの勝利であった。
  論文  参考訳（メタデータ） (2021-07-13T12:01:05Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Learning to Move with Affordance Maps [57.198806691838364]
  物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。 従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。 学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
  論文  参考訳（メタデータ） (2020-01-08T04:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。