論文の概要: Visual Whole-Body Control for Legged Loco-Manipulation
- arxiv url: http://arxiv.org/abs/2403.16967v3
- Date: Sat, 20 Apr 2024 23:22:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 22:55:04.790921
- Title: Visual Whole-Body Control for Legged Loco-Manipulation
- Title(参考訳): 足のロコマニピュレーションのための視覚全体制御
- Authors: Minghuan Liu, Zixuan Chen, Xuxin Cheng, Yandong Ji, Rizhao Qiu, Ruihan Yang, Xiaolong Wang,
- Abstract要約: そこで本研究では,ロボットアームを用いた移動操作の問題点について検討する。
視覚的観察により全身制御を自律的に行うことのできる枠組みを提案する。
- 参考スコア(独自算出の注目度): 22.50054654508986
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the problem of mobile manipulation using legged robots equipped with an arm, namely legged loco-manipulation. The robot legs, while usually utilized for mobility, offer an opportunity to amplify the manipulation capabilities by conducting whole-body control. That is, the robot can control the legs and the arm at the same time to extend its workspace. We propose a framework that can conduct the whole-body control autonomously with visual observations. Our approach, namely Visual Whole-Body Control(VBC), is composed of a low-level policy using all degrees of freedom to track the end-effector manipulator position and a high-level policy proposing the end-effector position based on visual inputs. We train both levels of policies in simulation and perform Sim2Real transfer for real robot deployment. We perform extensive experiments and show significant improvements over baselines in picking up diverse objects in different configurations (heights, locations, orientations) and environments. Project page: https://wholebody-b1.github.io
- Abstract(参考訳): そこで本研究では,ロボットアームを装着したロボットによる移動操作の問題点について検討する。
ロボットの脚は、通常移動のために使用されるが、全身制御を行うことで操作能力を増幅する機会を提供する。
つまり、ロボットは足と腕を同時に制御し、ワークスペースを拡張する。
視覚的観察により全身制御を自律的に行うことのできる枠組みを提案する。
当社のアプローチであるVisual Whole-Body Control(VBC)は、すべての自由度を用いて、エンドエフェクタマニピュレータの位置を追跡する低レベルポリシーと、視覚入力に基づいてエンドエフェクタ位置を提案する高レベルポリシーで構成されている。
シミュレーションにおける両レベルのポリシーをトレーニングし、実際のロボット展開のためのSim2Real転送を実行する。
さまざまな構成(高さ、位置、方向)と環境において、さまざまなオブジェクトを拾う際に、大規模な実験を行い、ベースラインよりも大幅に改善した。
プロジェクトページ: https://wholebody-b1.github.io
関連論文リスト
- Track2Act: Predicting Point Tracks from Internet Videos enables Diverse Zero-shot Robot Manipulation [65.46610405509338]
Track2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
これらの2次元トラック予測を用いて、操作対象の剛体変換列を推定し、ロボットのエンドエフェクタのポーズを得る。
学習したトラック予測を残留ポリシーと組み合わせることで、ゼロショットロボットの操作が可能となることを示す。
論文 参考訳(メタデータ) (2024-05-02T17:56:55Z) - Learning Force Control for Legged Manipulation [18.894304288225385]
本稿では,力覚へのアクセスを必要とせず,直接力制御のためのRLポリシーを訓練する方法を提案する。
腕を持つ四足ロボットの全身制御プラットフォーム上で本手法を実証する。
足のマニピュレータに学習した全身力制御を初めて導入し、より汎用的で適応可能な脚ロボットの道を歩む。
論文 参考訳(メタデータ) (2024-05-02T15:53:43Z) - Learning Visual Quadrupedal Loco-Manipulation from Demonstrations [36.1894630015056]
我々は四足歩行ロボットに、足だけを使って現実世界の操作タスクを実行させることを目標としている。
我々はロコ操作プロセスを低レベル強化学習(RL)ベースのコントローラと高レベル行動クローン(BC)ベースのプランナに分解する。
提案手法はシミュレーションや実世界の実験を通じて検証され,移動性や高精度なタスクをロボットが実行できることが実証された。
論文 参考訳(メタデータ) (2024-03-29T17:59:05Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - Pedipulate: Enabling Manipulation Skills using a Quadruped Robot's Leg [11.129918951736052]
脚のついたロボットは、メンテナンス、ホームサポート、探索のシナリオにおいて不可欠になる可能性がある。
本研究では,ロボットの脚を操作に用いたペディピュレーションについて検討する。
論文 参考訳(メタデータ) (2024-02-16T17:20:45Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳(メタデータ) (2023-07-12T07:04:53Z) - Polybot: Training One Policy Across Robots While Embracing Variability [70.74462430582163]
複数のロボットプラットフォームにデプロイするための単一のポリシーをトレーニングするための重要な設計決定セットを提案する。
われわれのフレームワークは、まず、手首カメラを利用して、我々のポリシーの観察空間と行動空間を具体化して調整する。
6つのタスクと3つのロボットにまたがる60時間以上のデータセットを用いて,関節の形状や大きさの異なるデータセットの評価を行った。
論文 参考訳(メタデータ) (2023-07-07T17:21:16Z) - Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。
コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
論文 参考訳(メタデータ) (2023-03-06T18:59:09Z) - Deep Whole-Body Control: Learning a Unified Policy for Manipulation and
Locomotion [25.35885216505385]
装着されたアームは、移動操作タスクへの脚付きロボットの適用性を著しく向上させることができる。
このような手足のマニピュレータのための標準的な階層制御パイプラインは、コントローラを操作と移動のものと分離することである。
我々は、強化学習を用いて、足のマニピュレータの全身制御のための統一的なポリシーを学習する。
論文 参考訳(メタデータ) (2022-10-18T17:59:30Z) - GenLoco: Generalized Locomotion Controllers for Quadrupedal Robots [87.32145104894754]
四足歩行ロボットのための汎用ロコモーション(GenLoco)コントローラを訓練するためのフレームワークを提案する。
本フレームワークは,多種多様な四足歩行ロボットに展開可能な汎用ロコモーションコントローラを合成する。
我々のモデルは、より一般的な制御戦略を取得し、新しいシミュレーションロボットや実世界のロボットに直接移行できることを示す。
論文 参考訳(メタデータ) (2022-09-12T15:14:32Z) - A Transferable Legged Mobile Manipulation Framework Based on Disturbance
Predictive Control [15.044159090957292]
四足歩行ロボットにロボットアームを装着した足の移動操作は、ロボットの性能を大幅に向上させる。
本稿では,潜在動的アダプタを用いた強化学習スキームを低レベルコントローラに組み込んだ統合フレームワーク外乱予測制御を提案する。
論文 参考訳(メタデータ) (2022-03-02T14:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。