論文の概要: Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

• arxiv url: http://arxiv.org/abs/2410.10803v1
• Date: Mon, 14 Oct 2024 17:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 19:24:59.022556
• Title: Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies
• Title（参考訳）: 3次元拡散法を改良した汎用ヒューマノイドマニピュレーション
• Authors: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu,
• Abstract要約: Improved 3D Diffusion Policy (iDP3)は、エゴセントリックな3D視覚表現を活用することで制約を取り除く新しい3Dビジュモータポリシーである。 iDP3は,多種多様な現実のシナリオにおいて,実物大のヒューマノイドロボットが自律的にスキルを発揮できることを実証した。
• 参考スコア（独自算出の注目度）: 41.23383596258797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humanoid robots capable of autonomous operation in diverse environments have long been a goal for roboticists. However, autonomous manipulation by humanoid robots has largely been restricted to one specific scene, primarily due to the difficulty of acquiring generalizable skills. Recent advances in 3D visuomotor policies, such as the 3D Diffusion Policy (DP3), have shown promise in extending these capabilities to wilder environments. However, 3D visuomotor policies often rely on camera calibration and point-cloud segmentation, which present challenges for deployment on mobile robots like humanoids. In this work, we introduce the Improved 3D Diffusion Policy (iDP3), a novel 3D visuomotor policy that eliminates these constraints by leveraging egocentric 3D visual representations. We demonstrate that iDP3 enables a full-sized humanoid robot to autonomously perform skills in diverse real-world scenarios, using only data collected in the lab. Videos are available at: https://humanoid-manipulation.github.io
• Abstract（参考訳）: 多様な環境で自律的な操作が可能なヒューマノイドロボットは、長年ロボット工学者の目標だった。 しかしながら、ヒューマノイドロボットによる自律的な操作は、主に一般化可能なスキルの獲得が困難であるため、特定のシーンに限られている。 3D拡散政策(DP3)のような3Dビジュモータ政策の最近の進歩は、これらの能力をより荒野の環境に拡張することを約束している。 しかし、3Dビジュモータポリシーは、しばしばカメラキャリブレーションとポイントクラウドセグメンテーションに依存しており、ヒューマノイドのようなモバイルロボットにデプロイする上での課題を提示している。 本研究では,エゴセントリックな3次元視覚表現を活用することで,これらの制約を解消する新しい3次元ビジュモータポリシーである,改良された3次元拡散ポリシー(iDP3)を紹介する。 iDP3は,実験室で収集したデータのみを用いて,多種多様な実世界のシナリオにおいて,ロボットが自律的にスキルを発揮できることを実証した。 ビデオは、https://humanoid-manipulation.github.ioで公開されている。

関連論文リスト

• GR00T N1: An Open Foundation Model for Generalist Humanoid Robots [133.23509142762356]
  汎用ロボットには多目的体と知的な心が必要だ。 近年のヒューマノイドロボットの進歩は、汎用的な自律性を構築するためのハードウェアプラットフォームとして大きな可能性を秘めている。 我々はヒューマノイドロボットのオープン基盤モデルであるGR00T N1を紹介する。
  論文  参考訳（メタデータ） (2025-03-18T21:06:21Z)
• Humanoid Policy ~ Human Policy [26.01581047414598]
  人間行動変換器(HAT)と呼ばれる人-人-人-行動政策を訓練する。 HATのステートアクション空間は、人間とヒューマノイドロボットの両方に統一されており、ロボットのアクションに微分的に再ターゲットすることができる。 人間のデータは,HATの一般化と堅牢性の両方を改善し,データ収集効率を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-17T17:59:09Z)
• Learning from Massive Human Videos for Universal Humanoid Pose Control [46.417054298537195]
  本稿では,2000万以上のヒューマノイドロボットの大規模データセットであるHumanoid-Xを紹介する。 我々は、テキスト命令を入力として受け取り、対応する動作を出力してヒューマノイドロボットを制御する、大きなヒューマノイドモデルUH-1を訓練する。 私たちのスケーラブルなトレーニングアプローチは、テキストベースのヒューマノイド制御の優れた一般化につながります。
  論文  参考訳（メタデータ） (2024-12-18T18:59:56Z)
• HumanPlus: Humanoid Shadowing and Imitation from Humans [82.47551890765202]
  ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを導入する。 まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。 次に、自己中心型視覚を用いてスキルポリシーを訓練し、ヒューマノイドが自律的に異なるタスクを完了できるようにする。
  論文  参考訳（メタデータ） (2024-06-15T00:41:34Z)
• Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
  我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。 ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-30T17:56:54Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
  そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。 その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:45:44Z)
• 3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations [19.41216557646392]
  3次元拡散政策(DP3)は、新しい視覚模倣学習手法である。 実験では、DP3は10のデモでほとんどのタスクを処理し、24.2%の相対的な改善でベースラインを超えた。 実際のロボット実験では、DP3は頻繁に行う基準法とは対照的に、安全要件にほとんど違反しない。
  論文  参考訳（メタデータ） (2024-03-06T18:58:49Z)
• 3D Diffuser Actor: Policy Diffusion with 3D Scene Representations [19.914227905704102]
  3Dロボットポリシーは、1つまたは複数のカメラビューから集約された3Dシーンの特徴表現を使用する。 本稿では,新しい3Dデノナイジング変換器を備えたニューラルポリシーである3Dディフューザー・アクターを提案する。 現在のSOTAよりも18.1%向上したRLBenchに新たな最先端技術が設定されている。 また、いくつかのデモから現実世界のロボットマニピュレータの制御も学んでいる。
  論文  参考訳（メタデータ） (2024-02-16T18:43:02Z)
• Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset [26.845899347446807]
  近年の3Dアルゴリズムの活用への関心は、ロボットの知覚と身体的理解の進歩につながっている。 我々は、ロボット操作と密集したビューカバレッジを備えたデータセットであるRobo360を提示する。 3Dとロボット制御における物理世界理解の交差点では、Robo360が新たな研究の道を開くことを願っている。
  論文  参考訳（メタデータ） (2023-12-09T09:12:03Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects [8.195608430584073]
  物理シミュレーターにおけるArticulated ObjectによるDexterous操作を含むDexArtという新しいベンチマークを提案する。 本研究の主目的は,未確認対象に対する学習方針の一般化性を評価することである。 一般化を実現するために3次元表現学習を用いた強化学習を用いる。
  論文  参考訳（メタデータ） (2023-05-09T18:30:58Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube [24.530131506065164]
  我々は、人間なら誰でもロボットの手と腕を制御できるシステムを構築します。 ロボットは、人間のオペレーターを1台のRGBカメラで観察し、その動作をリアルタイムで模倣する。 我々はこのデータを利用して、人間の手を理解するシステムを訓練し、人間のビデオストリームをスムーズで、素早く、安全に、意味論的に誘導デモに類似したロボットのハンドアーム軌道に再ターゲティングする。
  論文  参考訳（メタデータ） (2022-02-21T18:59:59Z)
• Know Thyself: Transferable Visuomotor Control Through Robot-Awareness [22.405839096833937]
  新しいロボットをスクラッチからトレーニングするためには、通常大量のロボット固有のデータを生成する必要がある。 簡単なロボット「自己認識」を活用する「ロボット認識」ソリューションパラダイムを提案する。 シミュレーションおよび実際のロボットにおけるテーブルトップ操作に関する実験により、これらのプラグインの改善により、ビジュモータコントローラの転送性が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2021-07-19T17:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。