論文の概要: Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation

• arxiv url: http://arxiv.org/abs/2209.11094v1
• Date: Thu, 22 Sep 2022 15:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 14:09:04.008217
• Title: Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation
• Title（参考訳）: 視覚クアドロレータナビゲーションのための並列強化学習シミュレーション
• Authors: Jack Saunders, Sajad Saeedi, Wenbin Li
• Abstract要約: 強化学習(Reinforcement Learning、RL)は、ロボットに物理的な世界の中をナビゲートするように教えるエージェントベースのアプローチである。 本稿では,AirSim上に構築された並列学習を効率的に行うシミュレーションフレームワークを提案する。 このフレームワーク上に構築されたApe-Xは、AirSim環境の分散トレーニングを組み込むように修正されている。
• 参考スコア（独自算出の注目度）: 4.597465975849579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is an agent-based approach for teaching robots to navigate within the physical world. Gathering data for RL is known to be a laborious task, and real-world experiments can be risky. Simulators facilitate the collection of training data in a quicker and more cost-effective manner. However, RL frequently requires a significant number of simulation steps for an agent to become skilful at simple tasks. This is a prevalent issue within the field of RL-based visual quadrotor navigation where state dimensions are typically very large and dynamic models are complex. Furthermore, rendering images and obtaining physical properties of the agent can be computationally expensive. To solve this, we present a simulation framework, built on AirSim, which provides efficient parallel training. Building on this framework, Ape-X is modified to incorporate decentralised training of AirSim environments to make use of numerous networked computers. Through experiments we were able to achieve a reduction in training time from 3.9 hours to 11 minutes using the aforementioned framework and a total of 74 agents and two networked computers. Further details including a github repo and videos about our project, PRL4AirSim, can be found at https://sites.google.com/view/prl4airsim/home
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、ロボットに物理的な世界の中をナビゲートするように教えるエージェントベースのアプローチである。 rlのデータ収集は大変な作業であり、実世界の実験は危険である。 シミュレータは、より迅速でコスト効率の良い方法でトレーニングデータの収集を容易にする。 しかし、rlはエージェントが単純なタスクで巧みになるためにかなりの数のシミュレーションステップを頻繁に必要とします。 これはrlベースの視覚四角形ナビゲーションの分野において一般的な問題であり、状態次元は一般的に非常に大きく、動的モデルは複雑である。 さらに、画像のレンダリングやエージェントの物理的特性の取得は、計算コストがかかる。 そこで本研究では,AirSim上に構築された並列学習を効率的に行うシミュレーションフレームワークを提案する。 このフレームワークに基づいてApe-Xは、多数のネットワークコンピュータを利用するためにAirSim環境の分散トレーニングを組み込むように修正されている。 実験により、上記のフレームワークと74のエージェントと2つのネットワークコンピュータを使用して、トレーニング時間を3.9時間から11分に短縮することができた。 プロジェクトに関するgithubリポジトリやビデオを含む詳細はhttps://sites.google.com/view/prl4airsim/home.comで確認できます。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• SPOC: Imitating Shortest Paths in Simulation Enables Effective Navigation and Manipulation in the Real World [46.02807945490169]
  シミュレーションにおける最短パスプランナーの模倣は,RGBセンサ(深度マップやGPS座標なし)のみを用いて,シミュレーションと現実世界の両方でオブジェクトの操作,探索,操作を行うエージェントを生成することを示す。 この驚くべき結果は、エンドツーエンドのトランスフォーマーベースのSPOCアーキテクチャ、広範な画像拡張と組み合わせた強力なビジュアルエンコーダによって実現されます。
  論文  参考訳（メタデータ） (2023-12-05T18:59:45Z)
• Learning to Fly in Seconds [7.259696592534715]
  カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。 我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
  論文  参考訳（メタデータ） (2023-11-22T01:06:45Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Rethinking Closed-loop Training for Autonomous Driving [82.61418945804544]
  本研究は,学習エージェントの成功に対する異なるトレーニングベンチマーク設計の影響を分析した最初の実証的研究である。 複数ステップのルックアヘッドで計画を行うRLベースの駆動エージェントであるtrajectory value learning (TRAVL)を提案する。 実験の結果,TRAVLはすべてのベースラインと比較してより速く学習でき,安全な操作が可能であることがわかった。
  論文  参考訳（メタデータ） (2023-06-27T17:58:39Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。 本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。 トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2020-09-23T15:23:54Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。