論文の概要: Offline-to-online Reinforcement Learning for Image-based Grasping with Scarce Demonstrations

• arxiv url: http://arxiv.org/abs/2410.14957v1
• Date: Sat, 19 Oct 2024 03:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:31.715085
• Title: Offline-to-online Reinforcement Learning for Image-based Grasping with Scarce Demonstrations
• Title（参考訳）: Scarce Demonstrations を用いた画像解析のためのオフライン・オンライン強化学習
• Authors: Bryan Chan, Anson Leung, James Bergstra,
• Abstract要約: オフラインからオフラインへの強化(O2O)は,環境との相互作用を継続的に改善することを目的としている。 実写画像に基づく画像に基づくロボット真空把握タスクで学習できる新しいO2O RLアルゴリズムを提案する。 提案アルゴリズムは,2時間以内のインタラクションで,50件の人間による実演で達成できることを実証した。
• 参考スコア（独自算出の注目度）: 0.3686808512438362
• License:
• Abstract: Offline-to-online reinforcement learning (O2O RL) aims to obtain a continually improving policy as it interacts with the environment, while ensuring the initial behaviour is satisficing. This satisficing behaviour is necessary for robotic manipulation where random exploration can be costly due to catastrophic failures and time. O2O RL is especially compelling when we can only obtain a scarce amount of (potentially suboptimal) demonstrations$\unicode{x2014}$a scenario where behavioural cloning (BC) is known to suffer from distribution shift. Previous works have outlined the challenges in applying O2O RL algorithms under the image-based environments. In this work, we propose a novel O2O RL algorithm that can learn in a real-life image-based robotic vacuum grasping task with a small number of demonstrations where BC fails majority of the time. The proposed algorithm replaces the target network in off-policy actor-critic algorithms with a regularization technique inspired by neural tangent kernel. We demonstrate that the proposed algorithm can reach above 90% success rate in under two hours of interaction time, with only 50 human demonstrations, while BC and two commonly-used RL algorithms fail to achieve similar performance.
• Abstract（参考訳）: オフライン・オンライン強化学習 (O2O RL) は、環境との相互作用を継続して改善し、初期行動が満足できるようにすることを目的としている。 この満足な行動は、破滅的な失敗と時間のためにランダムな探索にコストがかかるロボット操作に必要である。 O2O RLは、挙動クローン(BC)が分布シフトに苦しむことで知られるシナリオである$\unicode{x2014}$aのデモの少ない量しか得られない場合、特に魅力的である。 以前の研究は、O2O RLアルゴリズムを画像ベース環境に適用する際の課題を概説している。 本研究では,O2O RLアルゴリズムを提案する。このアルゴリズムは,実際の画像に基づくロボット真空把握タスクにおいて,BCがほとんどの時間で失敗する少数の実演で学習することができる。 提案アルゴリズムは, ニューラルタンジェントカーネルにインスパイアされた正規化手法により, オフポリチックアクタ-クリティックアルゴリズムのターゲットネットワークを置き換える。 提案アルゴリズムは2時間以内の相互作用時間で90%以上の成功率を達成でき、BCと2つの一般的なRLアルゴリズムは同様の性能を達成できないことを示す。

関連論文リスト

• SHIRE: Enhancing Sample Efficiency using Human Intuition in REinforcement Learning [11.304750795377657]
  確率的図形モデル(PGM)を用いた人間の直観を符号化するフレームワークShireを提案する。 ShiREは、評価対象環境の25～78%のサンプル効率を、無視可能なオーバーヘッドコストで達成します。
  論文  参考訳（メタデータ） (2024-09-16T04:46:22Z)
• Rethinking Population-assisted Off-policy Reinforcement Learning [7.837628433605179]
  オフ政治強化学習アルゴリズムは、限られた探索のために局所最適への収束に苦慮する。 人口ベースのアルゴリズムは自然探索戦略を提供するが、ブラックボックス演算子は非効率である。 最近のアルゴリズムはこれら2つの手法を統合し、共有再生バッファを介してそれらを接続している。
  論文  参考訳（メタデータ） (2023-05-04T15:53:00Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Recursive Least Squares Advantage Actor-Critic Algorithms [20.792917267835247]
  2つの新しいRSSベースのアドバンテージアクター批評家アルゴリズム(A2C)を提案する。 RLSSA2C と RLSNA2C は RLS 法を用いて批評家ネットワークとアクターネットワークの隠れ層を訓練する。 実験結果から,両アルゴリズムは,ほとんどのゲームやタスクにおいて,バニラA2Cよりもサンプリング効率がよいことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T20:00:26Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。