論文の概要: Generalizable Humanoid Manipulation with 3D Diffusion Policies

• arxiv url: http://arxiv.org/abs/2410.10803v2
• Date: Wed, 19 Feb 2025 02:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:56:47.143670
• Title: Generalizable Humanoid Manipulation with 3D Diffusion Policies
• Title（参考訳）: 3次元拡散型汎用ヒューマノイドマニピュレーション
• Authors: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu,
• Abstract要約: 我々は、ヒューマノイドロボットによる自律的な操作の問題を解決するために、現実世界のロボットシステムを構築している。 本システムは主に,人型ロボットデータを取得するための全身ロボット遠隔操作システムと,高さ調整可能なカートと3D LiDARセンサを備えた25-DoFヒューマノイドロボットプラットフォームの統合である。 1つのシーンで収集されたデータのみを使用し、オンボードコンピューティングのみで、フルサイズのヒューマノイドロボットが様々な現実世界のシナリオで自律的にスキルを発揮できることが示される。
• 参考スコア（独自算出の注目度）: 41.23383596258797
• License:
• Abstract: Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills and the expensiveness of in-the-wild humanoid robot data. In this work, we build a real-world robotic system to address this challenging problem. Our system is mainly an integration of 1) a whole-upper-body robotic teleoperation system to acquire human-like robot data, 2) a 25-DoF humanoid robot platform with a height-adjustable cart and a 3D LiDAR sensor, and 3) an improved 3D Diffusion Policy learning algorithm for humanoid robots to learn from noisy human data. We run more than 2000 episodes of policy rollouts on the real robot for rigorous policy evaluation. Empowered by this system, we show that using only data collected in one single scene and with only onboard computing, a full-sized humanoid robot can autonomously perform skills in diverse real-world scenarios. Videos are available at \href{https://humanoid-manipulation.github.io}{humanoid-manipulation.github.io}.
• Abstract（参考訳）: 多様な環境で自律的な操作が可能なヒューマノイドロボットは、長年ロボット工学者の目標だった。 しかしながら、人間型ロボットによる自律的な操作は、主に一般化可能なスキルの獲得が困難であり、その高価さが原因で、1つの特定の場面に限られている。 本研究では、この課題に対処する現実世界のロボットシステムを構築する。 私たちのシステムは主に統合されたものです 1)人間のようなロボットデータを取得するための全身ロボット遠隔操作システム 2)高さ調整可能なカートと3次元LiDARセンサを備えた25自由度ヒューマノイドロボットプラットフォーム 3) ノイズの多い人的データから学習するヒューマノイドロボットのための3次元拡散政策学習アルゴリズムの改良。 我々は、厳格なポリシー評価のために、実際のロボット上で2000回以上のポリシーロールアウトを実行します。 このシステムを利用して、単一のシーンで収集されたデータのみを用いて、実世界のさまざまなシナリオにおいて、フルサイズのヒューマノイドロボットが自律的にスキルを発揮できることが示される。 ビデオは \href{https:// Humanoid-manipulation.github.io}{ Humanoid-manipulation.github.io} で公開されている。

関連論文リスト

• HumanPlus: Humanoid Shadowing and Imitation from Humans [82.47551890765202]
  ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを導入する。 まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。 次に、自己中心型視覚を用いてスキルポリシーを訓練し、ヒューマノイドが自律的に異なるタスクを完了できるようにする。
  論文  参考訳（メタデータ） (2024-06-15T00:41:34Z)
• Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
  我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。 ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-30T17:56:54Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
  そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。 その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:45:44Z)
• 3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations [19.41216557646392]
  3次元拡散政策(DP3)は、新しい視覚模倣学習手法である。 実験では、DP3は10のデモでほとんどのタスクを処理し、24.2%の相対的な改善でベースラインを超えた。 実際のロボット実験では、DP3は頻繁に行う基準法とは対照的に、安全要件にほとんど違反しない。
  論文  参考訳（メタデータ） (2024-03-06T18:58:49Z)
• 3D Diffuser Actor: Policy Diffusion with 3D Scene Representations [19.914227905704102]
  3Dロボットポリシーは、1つまたは複数のカメラビューから集約された3Dシーンの特徴表現を使用する。 本稿では,新しい3Dデノナイジング変換器を備えたニューラルポリシーである3Dディフューザー・アクターを提案する。 現在のSOTAよりも18.1%向上したRLBenchに新たな最先端技術が設定されている。 また、いくつかのデモから現実世界のロボットマニピュレータの制御も学んでいる。
  論文  参考訳（メタデータ） (2024-02-16T18:43:02Z)
• Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset [26.845899347446807]
  近年の3Dアルゴリズムの活用への関心は、ロボットの知覚と身体的理解の進歩につながっている。 我々は、ロボット操作と密集したビューカバレッジを備えたデータセットであるRobo360を提示する。 3Dとロボット制御における物理世界理解の交差点では、Robo360が新たな研究の道を開くことを願っている。
  論文  参考訳（メタデータ） (2023-12-09T09:12:03Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects [8.195608430584073]
  物理シミュレーターにおけるArticulated ObjectによるDexterous操作を含むDexArtという新しいベンチマークを提案する。 本研究の主目的は,未確認対象に対する学習方針の一般化性を評価することである。 一般化を実現するために3次元表現学習を用いた強化学習を用いる。
  論文  参考訳（メタデータ） (2023-05-09T18:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。