論文の概要: Visual Whole-Body Control for Legged Loco-Manipulation
- arxiv url: http://arxiv.org/abs/2403.16967v4
- Date: Tue, 14 May 2024 05:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 18:52:04.569008
- Title: Visual Whole-Body Control for Legged Loco-Manipulation
- Title（参考訳）: 足のロコマニピュレーションのための視覚全体制御
- Authors: Minghuan Liu, Zixuan Chen, Xuxin Cheng, Yandong Ji, Ri-Zhao Qiu, Ruihan Yang, Xiaolong Wang,
- Abstract要約: そこで本研究では,ロボットアームを用いた移動操作の問題点について検討する。
視覚的観察により全身制御を自律的に行うことのできる枠組みを提案する。
- 参考スコア（独自算出の注目度）: 22.50054654508986
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the problem of mobile manipulation using legged robots equipped with an arm, namely legged loco-manipulation. The robot legs, while usually utilized for mobility, offer an opportunity to amplify the manipulation capabilities by conducting whole-body control. That is, the robot can control the legs and the arm at the same time to extend its workspace. We propose a framework that can conduct the whole-body control autonomously with visual observations. Our approach, namely Visual Whole-Body Control(VBC), is composed of a low-level policy using all degrees of freedom to track the body velocities along with the end-effector position, and a high-level policy proposing the velocities and end-effector position based on visual inputs. We train both levels of policies in simulation and perform Sim2Real transfer for real robot deployment. We perform extensive experiments and show significant improvements over baselines in picking up diverse objects in different configurations (heights, locations, orientations) and environments.
- Abstract（参考訳）: そこで本研究では,ロボットアームを用いた移動操作の問題点について検討する。
ロボットの脚は、通常移動のために使用されるが、全身制御を行うことで操作能力を増幅する機会を提供する。
つまり、ロボットは足と腕を同時に制御し、ワークスペースを拡張する。
視覚的観察により全身制御を自律的に行うことのできる枠組みを提案する。
VBC(Visual Whole-Body Control)と呼ばれるこの手法は、あらゆる自由度を用いて、身体の速度をエンドエフェクタ位置とともに追跡する低レベルポリシーと、視覚的入力に基づいて速度とエンドエフェクタ位置を示す高レベルポリシーで構成されている。
シミュレーションにおける両レベルのポリシーをトレーニングし、実際のロボット展開のためのSim2Real転送を実行する。
さまざまな構成(高さ、位置、方向)と環境において、さまざまなオブジェクトを拾う際に、大規模な実験を行い、ベースラインよりも大幅に改善した。
関連論文リスト
- Track2Act: Predicting Point Tracks from Internet Videos enables Diverse Zero-shot Robot Manipulation [65.46610405509338]
Track2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
これらの2次元トラック予測を用いて、操作対象の剛体変換列を推定し、ロボットのエンドエフェクタのポーズを得る。
学習したトラック予測を残留ポリシーと組み合わせることで、ゼロショットロボットの操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z) - Agile and versatile bipedal robot tracking control through reinforcement learning [12.831810518025309]
本稿では,二足歩行ロボットのための多目的コントローラを提案する。
足首と身体の軌跡を、単一の小さなニューラルネットワークを用いて広範囲の歩行で追跡する。
最小限の制御ユニットと高レベルなポリシーを組み合わせることで、高いフレキシブルな歩行制御を実現することができる。
論文 参考訳（メタデータ） (2024-04-12T05:25:03Z) - Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。
シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
論文 参考訳（メタデータ） (2024-02-26T18:09:24Z) - Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal
Locomotion Control [112.66677641636299]
本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。
本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。
この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
論文 参考訳（メタデータ） (2024-01-30T10:48:43Z) - Polybot: Training One Policy Across Robots While Embracing Variability [70.74462430582163]
複数のロボットプラットフォームにデプロイするための単一のポリシーをトレーニングするための重要な設計決定セットを提案する。
われわれのフレームワークは、まず、手首カメラを利用して、我々のポリシーの観察空間と行動空間を具体化して調整する。
6つのタスクと3つのロボットにまたがる60時間以上のデータセットを用いて,関節の形状や大きさの異なるデータセットの評価を行った。
論文 参考訳（メタデータ） (2023-07-07T17:21:16Z) - Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。
コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
論文 参考訳（メタデータ） (2023-03-06T18:59:09Z) - Deep Whole-Body Control: Learning a Unified Policy for Manipulation and
Locomotion [25.35885216505385]
装着されたアームは、移動操作タスクへの脚付きロボットの適用性を著しく向上させることができる。
このような手足のマニピュレータのための標準的な階層制御パイプラインは、コントローラを操作と移動のものと分離することである。
我々は、強化学習を用いて、足のマニピュレータの全身制御のための統一的なポリシーを学習する。
論文 参考訳（メタデータ） (2022-10-18T17:59:30Z) - Agile Maneuvers in Legged Robots: a Predictive Control Approach [20.55884151818753]
そこで本研究では,ロボットがアジャイルなロコモーションスキルを計画し,実行できるようにする,接触位相予測および状態フィードバックコントローラを提案する。
私たちの研究は、予測制御がアクティベーション制限を処理し、アジャイルなロコモーション操作を生成し、別のボディコントローラを使わずに、ハードウェア上でローカルに最適なフィードバックポリシーを実行することができることを示す最初のものです。
論文 参考訳（メタデータ） (2022-03-14T23:32:17Z) - A Transferable Legged Mobile Manipulation Framework Based on Disturbance
Predictive Control [15.044159090957292]
四足歩行ロボットにロボットアームを装着した足の移動操作は、ロボットの性能を大幅に向上させる。
本稿では,潜在動的アダプタを用いた強化学習スキームを低レベルコントローラに組み込んだ統合フレームワーク外乱予測制御を提案する。
論文 参考訳（メタデータ） (2022-03-02T14:54:10Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z) - Learning Quadrupedal Locomotion over Challenging Terrain [68.51539602703662]
足の移動はロボティクスの操作領域を劇的に拡張することができる。
足の移動のための従来のコントローラーは、運動プリミティブと反射の実行を明示的にトリガーする精巧な状態マシンに基づいている。
ここでは、自然環境に挑戦する際の足の移動に対して、徹底的に頑健な制御器を提案する。
論文 参考訳（メタデータ） (2020-10-21T19:11:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。