論文の概要: SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World RL

• arxiv url: http://arxiv.org/abs/2506.04147v1
• Date: Wed, 04 Jun 2025 16:41:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.477868
• Title: SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World RL
• Title（参考訳）: SLAC: 全球実世界RLのためのシミュレーション付き遅延アクション空間
• Authors: Jiaheng Hu, Peter Stone, Roberto Martín-Martín,
• Abstract要約: 有能な家庭用・産業用ロボットの構築には、移動マニピュレータのような多目的で高自由度(DoF)システムの制御を習得する必要がある。 本稿では,タスク非依存の潜在行動空間を事前学習するために,低忠実度シミュレータを活用することで,実世界のRLを複雑な実施のために実現可能なSLACを提案する。 本研究では,2次元モバイル操作タスクのスイート上での既存手法に対するSLACの評価を行い,最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 41.254970515368335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building capable household and industrial robots requires mastering the control of versatile, high-degree-of-freedom (DoF) systems such as mobile manipulators. While reinforcement learning (RL) holds promise for autonomously acquiring robot control policies, scaling it to high-DoF embodiments remains challenging. Direct RL in the real world demands both safe exploration and high sample efficiency, which are difficult to achieve in practice. Sim-to-real RL, on the other hand, is often brittle due to the reality gap. This paper introduces SLAC, a method that renders real-world RL feasible for complex embodiments by leveraging a low-fidelity simulator to pretrain a task-agnostic latent action space. SLAC trains this latent action space via a customized unsupervised skill discovery method designed to promote temporal abstraction, disentanglement, and safety, thereby facilitating efficient downstream learning. Once a latent action space is learned, SLAC uses it as the action interface for a novel off-policy RL algorithm to autonomously learn downstream tasks through real-world interactions. We evaluate SLAC against existing methods on a suite of bimanual mobile manipulation tasks, where it achieves state-of-the-art performance. Notably, SLAC learns contact-rich whole-body tasks in under an hour of real-world interactions, without relying on any demonstrations or hand-crafted behavior priors. More information, code, and videos at robo-rl.github.io
• Abstract（参考訳）: 有能な家庭用・産業用ロボットの構築には、移動マニピュレータのような多目的で自由度の高いシステム(DoF)の制御を習得する必要がある。 強化学習(RL)は、自律的にロボット制御ポリシーを取得するという約束を持っているが、それをハイDoFに拡張することは依然として難しい。 現実世界の直接RLは安全な探査と高サンプル効率の両方を必要とするが、実際は達成が難しい。 一方、Sim-to-real RLは現実のギャップのために不安定であることが多い。 本稿では,タスク非依存の潜在行動空間を事前学習するために,低忠実度シミュレータを活用することで,実世界のRLを複雑な実施のために実現可能なSLACを提案する。 SLACは、時間的抽象化、絡み合い、安全性を促進するために設計された、カスタマイズされた教師なしのスキル発見方法を通じて、この潜伏した行動空間を訓練する。 遅延アクション空間が学習されると、SLACはそれを、現実のインタラクションを通じて下流タスクを自律的に学習する、新しいオフポリシーRLアルゴリズムのアクションインターフェースとして使用する。 本研究では,2次元モバイル操作タスクのスイート上での既存手法に対するSLACの評価を行い,最先端のパフォーマンスを実現する。 特にSLACは、実世界の対話の1時間未満で、実演や手作りの行動に頼らずに、コンタクトリッチな全身タスクを学習する。 robo-rl.github.ioの詳しい情報、コード、ビデオ

関連論文リスト

• CHEQ-ing the Box: Safe Variable Impedance Learning for Robotic Polishing [5.467140383171385]
  本研究では, 可変インピーダンスを有するロボット研磨のためのハイブリッドRLアルゴリズムCHEQの実験的検討を行った。 ハードウェア上では、CHEQは効果的な研磨動作を実現し、8時間のトレーニングを必要とせず、5回の障害しか発生しない。 その結果、ハードウェア上で直接訓練された実世界のコンタクトリッチなタスクに対して、適応型ハイブリッドRLの可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-01-14T10:13:41Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [82.46975428739329]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations [25.393382192511716]
  コンタクトリッチなタスクを対話的に操作するための没入型仮想現実遠隔操作インタフェースを提案する。 我々は,大規模並列RLと模倣学習の相補的強みを実証し,頑健で自然な振る舞いを示す。
  論文  参考訳（メタデータ） (2022-12-05T09:37:27Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。 本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。 トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2020-09-23T15:23:54Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。