論文の概要: NAVINACT: Combining Navigation and Imitation Learning for Bootstrapping Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2408.04054v1
• Date: Wed, 7 Aug 2024 19:30:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 17:20:07.284926
• Title: NAVINACT: Combining Navigation and Imitation Learning for Bootstrapping Reinforcement Learning
• Title（参考訳）: NAVINACT:ブートストラップ強化学習のためのナビゲーションと模倣学習の組み合わせ
• Authors: Amisha Bhaskar, Zahiruddin Mahammad, Sachin R Jadhav, Pratap Tokekar,
• Abstract要約: NAVINACTは、ロボットがいつ古典的な動き計画に基づくナビゲーションを使うべきか、そしていつポリシーを学ぶべきかを選択するフレームワークである。 操作モードは、オブジェクトから離れたときに古典的なテクニックを使ってウェイポイントにナビゲートすることと、オブジェクトと対話しようとするときの細かい操作制御である。 従来の手法に比べて適応性、効率、一般化の点で優れた性能を示す。
• 参考スコア（独自算出の注目度）: 13.564676246832544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has shown remarkable progress in simulation environments, yet its application to real-world robotic tasks remains limited due to challenges in exploration and generalisation. To address these issues, we introduce NAVINACT, a framework that chooses when the robot should use classical motion planning-based navigation and when it should learn a policy. To further improve the efficiency in exploration, we use imitation data to bootstrap the exploration. NAVINACT dynamically switches between two modes of operation: navigating to a waypoint using classical techniques when away from the objects and reinforcement learning for fine-grained manipulation control when about to interact with objects. NAVINACT consists of a multi-head architecture composed of ModeNet for mode classification, NavNet for waypoint prediction, and InteractNet for precise manipulation. By combining the strengths of RL and Imitation Learning (IL), NAVINACT improves sample efficiency and mitigates distribution shift, ensuring robust task execution. We evaluate our approach across multiple challenging simulation environments and real-world tasks, demonstrating superior performance in terms of adaptability, efficiency, and generalization compared to existing methods. In both simulated and real-world settings, NAVINACT demonstrates robust performance. In simulations, NAVINACT surpasses baseline methods by 10-15\% in training success rates at 30k samples and by 30-40\% during evaluation phases. In real-world scenarios, it demonstrates a 30-40\% higher success rate on simpler tasks compared to baselines and uniquely succeeds in complex, two-stage manipulation tasks. Datasets and supplementary materials can be found on our website: {https://raaslab.org/projects/NAVINACT/}.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, シミュレーション環境において顕著な進歩を見せている。 これらの問題に対処するために,ロボットが古典的な動作計画に基づくナビゲーションをいつ使うべきか,方針を学習すべきかを選択するフレームワークであるNAVINACTを導入する。 探索の効率をさらに向上するため,我々は模擬データを用いて探索をブートストラップする。 NAVINACTは2つの操作モードを動的に切り替える: オブジェクトから離れるときの古典的なテクニックを使った経路ポイントへのナビゲートと、オブジェクトと対話しようとするときのきめ細かい操作制御のための強化学習である。 NAVINACTはモード分類のためのModeNet、ウェイポイント予測のためのNavNet、正確な操作のためのInteractNetで構成されている。 RLとImitation Learning(IL)の強みを組み合わせることで、NAVINACTはサンプル効率を改善し、分散シフトを緩和し、堅牢なタスク実行を保証する。 我々は,複数の課題のあるシミュレーション環境と実世界のタスクにまたがってアプローチを評価し,既存手法と比較して適応性,効率,一般化の点で優れた性能を示す。 シミュレーションと実世界の両方の設定で、NAVINACTは堅牢なパフォーマンスを示している。 シミュレーションでは、NAVINACTは、評価フェーズにおいて、30kサンプルでのトレーニング成功率を10～15倍、30～40倍、ベースライン手法を10～40倍に超える。 現実のシナリオでは、ベースラインよりも単純なタスクで30～40倍の成功率を示し、複雑な2段階の操作タスクでユニークに成功します。 データセットと補足資料は、私たちのWebサイトにある。

関連論文リスト

• Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。 提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning [17.437573206368494]
  視覚深部強化学習(RL)は、ロボットが非構造化タスクの視覚入力からスキルを習得することを可能にする。 現在のアルゴリズムはサンプル効率が低く、実用性が制限されている。 本稿では,RLエージェントのアーキテクチャと最適化の両方を改善する手法であるMENTORを提案する。
  論文  参考訳（メタデータ） (2024-10-19T04:31:54Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• ReProHRL: Towards Multi-Goal Navigation in the Real World using Hierarchical Agents [1.3194749469702445]
  本稿では、強化学習によって誘導される階層的マルチゴールナビゲーションでタスクを分割する生産階層RL(ReProHRL)について述べる。 また、物体検出装置を前処理のステップとして使用して、マルチゴールナビゲーションを学習し、それを現実世界に転送する。 実世界の実装と概念実証のために,提案手法をフロントカメラを用いたナノドローンCrzyflieに展開する。
  論文  参考訳（メタデータ） (2023-08-17T02:23:59Z)
• MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations [36.44386146801296]
  サンプルの低さは、現実世界のアプリケーションに深層強化学習(RL)アルゴリズムをデプロイする上で、依然として最大の課題である。 モデルベースRLのサンプル効率を劇的に向上させることができるのは,ごく少数のデモンストレーションのみである。 本研究では,3つの複雑なビジュオモータ制御領域を実験的に検討し,スパース報酬タスクの完了に150%-250%成功していることを確認した。
  論文  参考訳（メタデータ） (2022-12-12T04:28:50Z)
• Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
  我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。 本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2022-10-06T20:28:55Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing [2.6519061087638014]
  深層強化学習(RL)に基づく情報経路計画のための新しい手法を提案する。 本手法は,モンテカルロ木探索とオフライン学習ニューラルネットワークを組み合わせた情報知覚行動の予測を行う。 ミッション中にトレーニングされたネットワークをデプロイすることにより、限られた計算資源を持つ物理プラットフォーム上で、サンプル効率の良いオンラインリプランニングが可能になる。
  論文  参考訳（メタデータ） (2021-09-28T09:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。