論文の概要: Benchmarking Offline Reinforcement Learning on Real-Robot Hardware

• arxiv url: http://arxiv.org/abs/2307.15690v1
• Date: Fri, 28 Jul 2023 17:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 11:54:30.623479
• Title: Benchmarking Offline Reinforcement Learning on Real-Robot Hardware
• Title（参考訳）: 実機ハードウェアにおけるオフライン強化学習のベンチマーク
• Authors: Nico G\"urtler, Sebastian Blaes, Pavel Kolev, Felix Widmaier, Manuel W\"uthrich, Stefan Bauer, Bernhard Sch\"olkopf and Georg Martius
• Abstract要約: 特にデクサラスな操作は、その一般的な形式において未解決の問題である。 本稿では,2つのタスク上の厳密な操作プラットフォームからオフライン学習のための大量のデータを含むベンチマークを提案する。 実システム上でのオフライン強化学習のための再現可能な実験的なセットアップを提供する。
• 参考スコア（独自算出の注目度）: 35.29390454207064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning policies from previously recorded data is a promising direction for real-world robotics tasks, as online learning is often infeasible. Dexterous manipulation in particular remains an open problem in its general form. The combination of offline reinforcement learning with large diverse datasets, however, has the potential to lead to a breakthrough in this challenging domain analogously to the rapid progress made in supervised learning in recent years. To coordinate the efforts of the research community toward tackling this problem, we propose a benchmark including: i) a large collection of data for offline learning from a dexterous manipulation platform on two tasks, obtained with capable RL agents trained in simulation; ii) the option to execute learned policies on a real-world robotic system and a simulation for efficient debugging. We evaluate prominent open-sourced offline reinforcement learning algorithms on the datasets and provide a reproducible experimental setup for offline reinforcement learning on real systems.
• Abstract（参考訳）: 以前記録されたデータからの学習ポリシーは、オンライン学習がしばしば実現不可能であるため、現実世界のロボット工学タスクにとって有望な方向である。 特にデクサラスな操作は、一般には未解決の問題である。 しかし、オフライン強化学習と多種多様なデータセットの組み合わせは、近年の教師あり学習の急速な進歩と類似して、この挑戦的な領域におけるブレークスルーにつながる可能性がある。 この問題に取り組むための研究コミュニティの努力を調整するために,我々は以下のベンチマークを提案する。 一 シミュレーションにより訓練された有能なrlエージェントにより得られた2つのタスクのデクスタース操作プラットフォームからオフライン学習のための大量のデータ 二 現実世界のロボットシステムにおいて学習方針を実行するオプション及び効率的なデバッグのためのシミュレーション 本研究では,データセット上でのオフライン強化学習アルゴリズムの評価を行い,実システム上でのオフライン強化学習のための再現可能な実験セットアップを提供する。

関連論文リスト

• AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset [2.66269503676104]
  本稿では、オフライン強化学習研究のための自律走行データセットとベンチマークを提供する。 現実世界の人間のドライバーのデータセットを含む19のデータセットと、一般的なオフライン強化学習アルゴリズム7つを、現実的な3つのシナリオで提供しています。
  論文  参考訳（メタデータ） (2024-04-03T03:36:35Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling [11.751910133386254]
  バッチ(オフライン)強化学習の最近の進歩は、利用可能なオフラインデータから学習する上で有望な結果を示している。 本研究では,不確実性推定を用いて人間の実演データを注入する手法を提案する。 実験の結果,本手法は,専門家データと準最適エージェントから収集したデータを組み合わせる方法に比べて,よりサンプル効率が高いことがわかった。
  論文  参考訳（メタデータ） (2022-12-16T01:41:59Z)
• Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information [5.604859261995801]
  本稿では、遷移性能低下を解消するオフラインからオフラインまでの統一的なRLフレームワークを提案する。 目標認識状態情報をRLエージェントに導入することにより,タスクの複雑性を大幅に低減し,政策学習を加速することができる。 本フレームワークは,複数のロボット操作タスクにおける最先端手法と比較して,優れたトレーニング効率と性能を実現する。
  論文  参考訳（メタデータ） (2021-10-21T05:34:25Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)
• Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems [108.81683598693539]
  オフラインの強化学習アルゴリズムは、巨大なデータセットを強力な意思決定エンジンにできるという、大きな約束を持っています。 我々は,これらの課題,特に近代的な深層強化学習手法の文脈において,読者にこれらの課題を理解することを目的としている。
  論文  参考訳（メタデータ） (2020-05-04T17:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。