論文の概要: Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations

• arxiv url: http://arxiv.org/abs/2611.03647v1
• Date: Mon, 02 Nov 2026 18:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-05 20:26:20.405244
• Title: Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations
• Title（参考訳）: Pixel-UMI: センサ化された人間のデモから全身操作を学習する環境
• Abstract要約: Pixel-UMIは、人間のデータから環境に配慮した全体ポリシーを学習するためのパイプラインである。 まず環境認識再ターゲティング(EAR)を紹介する。これは、再構成されたシーン形状と、実演されたヘッドとグリップの軌跡を組み合わせたものである。 次にRetargetingError-Aware Masking(REAM)を紹介します。
• 参考スコア（独自算出の注目度）: 66.36280990049691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sensorized human demonstrations offer scalable data for mobile manipulation, but embodiment differences complicate policy learning. We present Pixel-UMI, a pipeline for learning environment-aware whole-body policies from human data. We first introduce Environment-Aware Retargeting (EAR), which combines reconstructed scene geometry with demonstrated head and gripper trajectories to determine robot posture and generate collision-aware joint and base targets. Delay-calibrated action assignment converts these trajectories into actions. However, kinematic differences can leave residual pose errors, creating viewpoint mismatches between human demonstrations and robot observations. We therefore introduce Retargeting-Error-Aware Masking (REAM), which uses these errors during training to reduce reliance on mismatched views at deployment. Finally, because estimated actions cannot fully capture contact-rich interactions, we collect on-policy human corrections through DAgger to improve performance. We evaluate Pixel-UMI on five challenging tasks spanning articulated-object manipulation, deformable-object handling, constrained-space reaching, whole-body collision avoidance, and contact-rich bimanual coordination, achieving 87.0% average task progress. Video results are available at https://pixel-robot.com/pixel-umi
• Abstract（参考訳）: センサ化された人間のデモは、モバイル操作のためのスケーラブルなデータを提供するが、具体的差異はポリシー学習を複雑にする。 人間のデータから環境に配慮した全身ポリシーを学習するためのパイプラインであるPixel-UMIを提案する。 まず,ロボットの姿勢を判断し,衝突認識関節とベースターゲットを生成するために,再構成されたシーン形状とデモヘッドとグリップ軌跡を組み合わせた環境認識リターゲティング(EAR)を導入する。 遅延校正されたアクション割り当ては、これらのトラジェクトリをアクションに変換する。 しかし、キネマティックな違いは、残余のポーズエラーを残し、人間のデモとロボットの観察の間に視点のミスマッチを生じさせる。 そのため、トレーニング中にこれらのエラーを使用して、デプロイ時のミスマッチしたビューへの依存を減らすRetargeting-Error-Aware Masking (REAM)を導入する。 最後に、推定された動作が接触に富む相互作用を完全に捉えることができないため、DAggerを通じて、政治上の人間の修正を収集し、性能を向上させる。 我々は,Pixel-UMIを,関節オブジェクト操作,変形可能なオブジェクトハンドリング,拘束空間到達,全身衝突回避,接触リッチなバイマンコーディネーションの5つの課題に対して評価し,平均タスク進捗率87.0%を達成した。 Video results are available at https://pixel-robot.com/pixel-umi

関連論文リスト

• ReDOA: Real-World Distillation via Observation Alignment for Image-Based Manipulation Policy Learning [2.438027298274672]
  シミュレーションに基づく学習は、ダイナミックスやセンサー観測におけるシミュレーションと現実のギャップに対して脆弱である。 本研究では,認識学習から学習を分離し,実世界のイメージベースの政策を学習するフレームワークであるReDOAを提案する。
  論文  参考訳（メタデータ） (2026-10-19T02:37:51Z)
• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots [56.6238848953359]
  ViLoManは、自律的なヒューマノイドロコ操作のためのスケーラブルなフレームワークである。 自我中心の深度観測と主観的測定を直接ジョイントレベル全体の行動にマッピングする統一的なポリシーを学ぶ。
  論文  参考訳（メタデータ） (2026-09-16T19:10:13Z)
• OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction [76.44108003274955]
  ヒューマノイドロボットの複雑なスキルを教えるための主要なパラダイムは、強化学習ポリシーの運動学的参照として人間の動きを再ターゲットすることである。 インタラクションメッシュに基づくインタラクション保存データ生成エンジンであるOmniRetargetを紹介する。 人間のメッシュとロボットメッシュの間のラプラシアの変形を最小限にすることで、OmniRetargetは運動学的に実現可能な軌道を生成する。
  論文  参考訳（メタデータ） (2025-09-30T17:59:02Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。