論文の概要: Ada-NAV: Adaptive Trajectory-Based Sample Efficient Policy Learning for Robotic Navigation

• arxiv url: http://arxiv.org/abs/2306.06192v2
• Date: Fri, 29 Sep 2023 13:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 18:17:58.777513
• Title: Ada-NAV: Adaptive Trajectory-Based Sample Efficient Policy Learning for Robotic Navigation
• Title（参考訳）: Ada-NAV:ロボットナビゲーションのための適応軌道に基づく効率的な政策学習
• Authors: Bhrij Patel, Kasun Weerakoon, Wesley A. Suttle, Alec Koppel, Brian M. Sadler, Tianyi Zhou, Amrit Singh Bedi and Dinesh Manocha
• Abstract要約: 強化学習法は、ロボットナビゲーション戦略の学習に有効であるが、非常に非効率なサンプルであることが知られている。 そこで我々は,Ada-NAVを提案する。Ada-NAV,Ada-NAV,Ada-NAV,Ada-NAV,Ada-NAV,Ada-NAV,Ada-NAV,Ada-NAV,Ada-NAV。 固定サンプル予算では、Ada-NAVは18%の航法成功率、20～38%の航法経路長の減少、9.32%の上昇コストの減少をもたらす。
• 参考スコア（独自算出の注目度）: 75.36145696421038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning methods, while effective for learning robotic navigation strategies, are known to be highly sample inefficient. This sample inefficiency comes in part from not suitably balancing the explore-exploit dilemma, especially in the presence of non-stationarity, during policy optimization. To incorporate a balance of exploration-exploitation for sample efficiency, we propose Ada-NAV, an adaptive trajectory length scheme where the length grows as a policy's randomness, represented by its Shannon or differential entropy, decreases. Our adaptive trajectory length scheme emphasizes exploration at the beginning of training due to more frequent gradient updates and emphasizes exploitation later on with longer trajectories. In gridworld, simulated robotic environments, and real-world robotic experiments, we demonstrate the merits of the approach over constant and randomly sampled trajectory lengths in terms of performance and sample efficiency. For a fixed sample budget, Ada-NAV results in an 18% increase in navigation success rate, a 20-38% decrease in the navigation path length, and 9.32% decrease in the elevation cost compared to the policies obtained by the other methods. We also demonstrate that Ada-NAV can be transferred and integrated into a Clearpath Husky robot without significant performance degradation.
• Abstract（参考訳）: 強化学習法は、ロボットナビゲーション戦略の学習に有効であるが、非常に非効率なサンプルであることが知られている。 このサンプルの非効率性は、政策最適化中に特に非定常の存在下での探索-展開のジレンマのバランスが不適切であることから生じる。 サンプル効率のための探索・探索のバランスを組み込むために, シャノンあるいは微分エントロピーで表されるポリシーのランダム性として長さが増加する適応軌道長スキームada-navを提案する。 適応軌跡長スキームは,より頻繁な勾配更新によるトレーニング開始時の探索を強調し,その後,より長い軌道での利用を強調する。 グリッドワールド, シミュレーションロボット環境, 実世界のロボット実験において, 一定かつランダムにサンプリングされた軌道長に対するアプローチの利点を, 性能と試料効率の観点から示す。 固定サンプル予算では、Ada-NAVは航法成功率が18%増加し、航法経路の長さが20～38%減少し、他の方法と比較して標高コストが9.32%低下する。 また,ada-navをclearpath huskyロボットに移し,性能を低下させることなく統合できることを実証した。

関連論文リスト

• PLANRL: A Motion Planning and Imitation Learning Framework to Bootstrap Reinforcement Learning [13.564676246832544]
  PLANRLは、ロボットがいつ古典的な動き計画を使うべきか、いつポリシーを学ぶべきかを選択するためのフレームワークである。 PLANRLは2つの操作モードを切り替える: オブジェクトから離れたときに古典的なテクニックを使ってウェイポイントに到達し、オブジェクトと対話しようとするときに細かい操作制御を行う。 我々は,複数の課題のあるシミュレーション環境と実世界のタスクにまたがってアプローチを評価し,既存手法と比較して適応性,効率,一般化の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-07T19:30:08Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Efficient Reinforcement Learning via Decoupling Exploration and Utilization [6.305976803910899]
  強化学習(Reinforcement Learning, RL)は、ゲーム、ロボティクス、自動運転車など、さまざまな分野やアプリケーションで大きな成功を収めている。 本研究の目的は,探索と利用を分離して効率よく学習するエージェントを訓練することであり,エージェントが最適解の難解を逃れられるようにすることである。 提案したOPARL(Optimistic and Pessimistic Actor Reinforcement Learning)アルゴリズムに実装した。
  論文  参考訳（メタデータ） (2023-12-26T09:03:23Z)
• Learning to Terminate in Object Navigation [16.164536630623644]
  本稿では,自律ナビゲーションシステムにおけるオブジェクトナビゲーションの課題に対処する。 我々は、Depth-Inference Termination Agent(DITA)という新しいアプローチを提案する。 我々は、補助学習と並行して審査モデルを訓練し、報奨信号によって効率よく前者を監督する。
  論文  参考訳（メタデータ） (2023-09-28T04:32:08Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Rule-Based Reinforcement Learning for Efficient Robot Navigation with Space Reduction [8.279526727422288]
  本稿では,強化学習(RL)技術を用いた効率的なナビゲーションに焦点を当てた。 軌道を縮小するために減速ルールを採用し、冗長な探査空間を効果的に削減します。 ヘックスグリッド環境における実際のロボットナビゲーション問題に対する実験は、RuRLが航法性能を向上させることを実証している。
  論文  参考訳（メタデータ） (2021-04-15T07:40:27Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。