論文の概要: Offline Imitation Learning Through Graph Search and Retrieval

• arxiv url: http://arxiv.org/abs/2407.15403v1
• Date: Mon, 22 Jul 2024 06:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 16:00:55.288565
• Title: Offline Imitation Learning Through Graph Search and Retrieval
• Title（参考訳）: グラフ検索と検索によるオフライン模倣学習
• Authors: Zhao-Heng Yin, Pieter Abbeel,
• Abstract要約: 模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
• 参考スコア（独自算出の注目度）: 57.57306578140857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imitation learning is a powerful machine learning algorithm for a robot to acquire manipulation skills. Nevertheless, many real-world manipulation tasks involve precise and dexterous robot-object interactions, which make it difficult for humans to collect high-quality expert demonstrations. As a result, a robot has to learn skills from suboptimal demonstrations and unstructured interactions, which remains a key challenge. Existing works typically use offline deep reinforcement learning (RL) to solve this challenge, but in practice these algorithms are unstable and fragile due to the deadly triad issue. To overcome this problem, we propose GSR, a simple yet effective algorithm that learns from suboptimal demonstrations through Graph Search and Retrieval. We first use pretrained representation to organize the interaction experience into a graph and perform a graph search to calculate the values of different behaviors. Then, we apply a retrieval-based procedure to identify the best behavior (actions) on each state and use behavior cloning to learn that behavior. We evaluate our method in both simulation and real-world robotic manipulation tasks with complex visual inputs, covering various precise and dexterous manipulation skills with objects of different physical properties. GSR can achieve a 10% to 30% higher success rate and over 30% higher proficiency compared to baselines. Our project page is at https://zhaohengyin.github.io/gsr.
• Abstract（参考訳）: 模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 しかし、現実の操作タスクの多くは、精密で器用なロボットとオブジェクトの相互作用を含むため、人間が高品質な専門家のデモンストレーションを収集することは困難である。 その結果、ロボットは準最適動作や非構造的相互作用からスキルを学ぶ必要があり、これは依然として重要な課題である。 既存の研究は通常、オフラインの深層強化学習(RL)を使ってこの問題を解決するが、実際にはこれらのアルゴリズムは不安定で脆弱である。 この問題を解決するために,グラフ検索と検索による準最適実演から学習する,単純かつ効果的なアルゴリズムGSRを提案する。 まず、事前学習された表現を用いて、相互作用体験をグラフに整理し、グラフ検索を行い、異なる振る舞いの値を計算する。 次に,各状態の最良の行動(行動)を特定し,その行動を学ぶために行動クローニングを利用するための検索ベースの手順を適用した。 本研究では,複雑な視覚的入力を伴うシミュレーションと実世界のロボット操作タスクにおいて,様々な物理的特性を持つ物体を用いた様々な精密かつ巧妙な操作技術について検討した。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。 私たちのプロジェクトページはhttps://zhaohengyin.github.io/gsr.comです。

関連論文リスト

• Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning [61.3506230781327]
  ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。 ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。 提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
  論文  参考訳（メタデータ） (2023-03-03T21:55:04Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Divide & Conquer Imitation Learning [75.31752559017978]
  模倣学習は学習プロセスをブートストラップするための強力なアプローチである。 本稿では,専門的軌道の状態から複雑なロボットタスクを模倣する新しいアルゴリズムを提案する。 提案手法は,非ホロノミックナビゲーションタスクを模倣し,非常に高いサンプル効率で複雑なロボット操作タスクにスケールすることを示す。
  論文  参考訳（メタデータ） (2022-04-15T09:56:50Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Robot Navigation in a Crowd by Integrating Deep Reinforcement Learning and Online Planning [8.211771115758381]
  これは、群衆の中で時間効率と衝突のない道を移動するモバイルロボットにとって、まだオープンで挑戦的な問題です。 深層強化学習はこの問題に対する有望な解決策である。 グラフに基づく深部強化学習手法SG-DQNを提案する。 私たちのモデルは、ロボットが群衆をよりよく理解し、群衆ナビゲーションタスクで0.99以上の高い成功率を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-02-26T02:17:13Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks [8.756012472587601]
  深層強化学習(RL)は複雑な操作タスクを学習するために用いられる。 RLは、ロボットが大量の現実世界の経験を収集する必要がある。 SQUIRLは、単一のビデオデモしか持たない、新しいが関連するロングホライゾンタスクを実行する。
  論文  参考訳（メタデータ） (2020-03-10T20:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。