論文の概要: Automatic Environment Shaping is the Next Frontier in RL

• arxiv url: http://arxiv.org/abs/2407.16186v1
• Date: Tue, 23 Jul 2024 05:22:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:35:54.532097
• Title: Automatic Environment Shaping is the Next Frontier in RL
• Title（参考訳）: RLの次のフロンティアは自動環境整形
• Authors: Younghyo Park, Gabriel B. Margolis, Pulkit Agrawal,
• Abstract要約: 多くのロボット学者は、夕方にタスクを持ったロボットを提示し、翌朝にそのタスクを解くことができるロボットを見つけることを夢見ている。 実際の強化学習は、挑戦的なロボティクスのタスクにおいて素晴らしいパフォーマンスを達成したが、そのタスクをRLに相応しい方法でセットアップするには、相当な人的努力が必要である。 政策最適化やその他のアイデアのアルゴリズムによる改善は、トレーニング環境を形作る際の主要なボトルネックを解決するために導かれるべきだ、という私たちの立場です。
• 参考スコア（独自算出の注目度）: 20.894840942319323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many roboticists dream of presenting a robot with a task in the evening and returning the next morning to find the robot capable of solving the task. What is preventing us from achieving this? Sim-to-real reinforcement learning (RL) has achieved impressive performance on challenging robotics tasks, but requires substantial human effort to set up the task in a way that is amenable to RL. It's our position that algorithmic improvements in policy optimization and other ideas should be guided towards resolving the primary bottleneck of shaping the training environment, i.e., designing observations, actions, rewards and simulation dynamics. Most practitioners don't tune the RL algorithm, but other environment parameters to obtain a desirable controller. We posit that scaling RL to diverse robotic tasks will only be achieved if the community focuses on automating environment shaping procedures.
• Abstract（参考訳）: 多くのロボット学者は、夕方にタスクを持ったロボットを提示し、翌朝にそのタスクを解くことができるロボットを見つけることを夢見ている。 これを達成するのを妨げているのは何か? Sim-to-real reinforcement learning (RL)は、ロボット工学の挑戦的なタスクにおいて、優れたパフォーマンスを達成したが、そのタスクをRLに許容できる方法でセットアップするには、相当な人的努力が必要である。 政策最適化やその他のアイデアのアルゴリズム的改善は、トレーニング環境、すなわち、観察、アクション、報酬、シミュレーションのダイナミクスを形作る際の主要なボトルネックを解決するために導かれるべきだ、という私たちの立場です。 ほとんどの実践者はRLアルゴリズムをチューニングしませんが、望ましいコントローラを得るために他の環境パラメータを調整します。 RLを多様なロボットタスクにスケールすることは、コミュニティが環境形成手順の自動化に注力するときにのみ達成できると仮定する。

関連論文リスト

• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning [66.10854214036605]
  ロボット工学における中心的な問題は、アジャイルなモバイルロボットの制御システムをどうやって設計するかである。 本稿では、強化学習(RL)で訓練されたニューラルネットワークコントローラが最適制御(OC)法より優れていることを示す。 その結果、アジャイルドローンを最大性能に押し上げることができ、最大加速速度は重力加速度の12倍以上、ピーク速度は時速108kmに達しました。
  論文  参考訳（メタデータ） (2023-10-17T02:40:27Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Quality-Diversity Optimisation on a Physical Robot Through Dynamics-Aware and Reset-Free Learning [4.260312058817663]
  本研究では,リセットフリーQD(RF-QD)アルゴリズムを用いて,物理ロボット上で直接コントローラを学習する。 本手法は,ロボットと環境との相互作用から学習したダイナミクスモデルを用いて,ロボットの動作を予測する。 RF-QDには、ロボットが外を歩いたときに安全なゾーンに戻すリカバリポリシーも含まれており、継続的な学習を可能にしている。
  論文  参考訳（メタデータ） (2023-04-24T13:24:00Z)
• Learning Bipedal Walking for Humanoids with Current Feedback [5.429166905724048]
  アクチュエータレベルでの不正確なトルクトラッキングから生じるヒューマノイドロボットのシム2リアルギャップ問題を克服するためのアプローチを提案する。 提案手法は、実際のHRP-5Pヒューマノイドロボットに展開して二足歩行を実現するシミュレーションにおいて、一貫したエンドツーエンドのポリシーをトレーニングする。
  論文  参考訳（メタデータ） (2023-03-07T08:16:46Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• How to Train Your Robot with Deep Reinforcement Learning; Lessons We've Learned [111.06812202454364]
  本稿では,ロボット深部RLのケーススタディをいくつか紹介する。 深部RLにおける一般的な課題と,それらの課題について論じる。 また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
  論文  参考訳（メタデータ） (2021-02-04T22:09:28Z)
• Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。 本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。 トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2020-09-23T15:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。