論文の概要: SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation

• arxiv url: http://arxiv.org/abs/2410.18065v1
• Date: Wed, 23 Oct 2024 17:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:27.659153
• Title: SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
• Title（参考訳）: SPIRE:長距離マニピュレーションのための相乗的計画・模倣・強化学習
• Authors: Zihan Zhou, Animesh Garg, Dieter Fox, Caelan Garrett, Ajay Mandlekar,
• Abstract要約: タスクをより小さな学習サブプロブレムに分解し、第2に模倣と強化学習を組み合わせてその強みを最大化するシステムであるspireを提案する。 我々は、模倣学習、強化学習、計画を統合する従来の手法よりも平均タスク性能が35%から50%向上していることを発見した。
• 参考スコア（独自算出の注目度）: 58.14969377419633
• License:
• Abstract: Robot learning has proven to be a general and effective technique for programming manipulators. Imitation learning is able to teach robots solely from human demonstrations but is bottlenecked by the capabilities of the demonstrations. Reinforcement learning uses exploration to discover better behaviors; however, the space of possible improvements can be too large to start from scratch. And for both techniques, the learning difficulty increases proportional to the length of the manipulation task. Accounting for this, we propose SPIRE, a system that first uses Task and Motion Planning (TAMP) to decompose tasks into smaller learning subproblems and second combines imitation and reinforcement learning to maximize their strengths. We develop novel strategies to train learning agents when deployed in the context of a planning system. We evaluate SPIRE on a suite of long-horizon and contact-rich robot manipulation problems. We find that SPIRE outperforms prior approaches that integrate imitation learning, reinforcement learning, and planning by 35% to 50% in average task performance, is 6 times more data efficient in the number of human demonstrations needed to train proficient agents, and learns to complete tasks nearly twice as efficiently. View https://sites.google.com/view/spire-corl-2024 for more details.
• Abstract（参考訳）: ロボット学習は、プログラミングマニピュレータの汎用的で効果的なテクニックであることが証明されている。 模倣学習は、人間のデモのみからロボットを教えることができるが、デモの能力にボトルネックがある。 強化学習は、より良い行動を見つけるために探索を利用するが、改善の可能性の空間はスクラッチから始めるには大きすぎる可能性がある。 どちらの手法も、操作作業の長さに比例して学習困難が増大する。 そこで我々は,まずタスク・アンド・モーション・プランニング(TAMP)を用いて,タスクをより小さなサブプロブレムに分解し,第2に模倣と強化学習を組み合わせてその強みを最大化するシステムSPIREを提案する。 我々は,計画システムに展開する学習エージェントを訓練するための新しい戦略を開発する。 SPIREは長い水平・接触に富んだロボット操作問題に対して評価する。 SPIREは、模倣学習、強化学習、計画を35%から50%のタスクパフォーマンスで組み合わせた従来の手法よりも優れており、熟練したエージェントを訓練するのに必要となる人間の実演回数の6倍のデータ効率が向上し、タスクをほぼ2倍の効率で完了することを学習している。 詳細はhttps://sites.google.com/view/spire-corl-2024を参照。

関連論文リスト

• Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
  模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
  論文  参考訳（メタデータ） (2024-07-22T06:12:21Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• LEAGUE: Guided Skill Learning and Abstraction for Long-Horizon Manipulation [16.05029027561921]
  タスク・アンド・モーション・プランニングのアプローチは、長期にわたるタスクの解決と一般化に長けている。 彼らは事前に定義されたスキルセットを仮定し、現実世界のアプリケーションを制限する。 本稿ではLEAGUEというタスク計画とスキル学習フレームワークを提案する。 学習スキルは、新しいタスク領域での学習を加速し、物理的なロボットプラットフォームに移行するために再利用できることを示す。
  論文  参考訳（メタデータ） (2022-10-23T06:57:05Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• CRIL: Continual Robot Imitation Learning via Generative and Prediction Model [8.896427780114703]
  本研究では,ロボットが個別に新しいタスクを継続的に学習することを可能にする,連続的な模倣学習能力を実現する方法について研究する。 本稿では,生成的対向ネットワークと動的予測モデルの両方を利用する新しいトラジェクトリ生成モデルを提案する。 本手法の有効性をシミュレーションと実世界操作の両方で実証した。
  論文  参考訳（メタデータ） (2021-06-17T12:15:57Z)
• Active Hierarchical Imitation and Reinforcement Learning [0.0]
  本研究では,我々が開発した階層的模倣強化学習フレームワークを用いて,様々な模倣学習アルゴリズムを探索し,アクティブ学習アルゴリズムを設計した。 実験の結果,daggerと報酬ベースのアクティブラーニング手法は,トレーニング過程において身体的および精神的により多くの努力を省きながら,よりよいパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2020-12-14T08:27:27Z)
• SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks [8.756012472587601]
  深層強化学習(RL)は複雑な操作タスクを学習するために用いられる。 RLは、ロボットが大量の現実世界の経験を収集する必要がある。 SQUIRLは、単一のビデオデモしか持たない、新しいが関連するロングホライゾンタスクを実行する。
  論文  参考訳（メタデータ） (2020-03-10T20:26:26Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。