論文の概要: CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World

• arxiv url: http://arxiv.org/abs/2502.08449v1
• Date: Wed, 12 Feb 2025 14:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:36.594279
• Title: CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World
• Title（参考訳）: CordViP: 実世界におけるデクサラスマニピュレーションのための対応型ビジュモータ政策
• Authors: Yankai Fu, Qiuxuan Feng, Ning Chen, Zichen Zhou, Mengzhen Liu, Mingdong Wu, Tianxing Chen, Shanyu Rong, Jiaming Liu, Hao Dong, Shanghang Zhang,
• Abstract要約: CordViPは、オブジェクトのロバストな6Dポーズ推定とロボットのプロプリセプションを活用することで、通信を構築し、学習する新しいフレームワークである。 提案手法は,実世界の4つのタスクにおいて,平均90%の成功率で異常な操作能力を示す。
• 参考スコア（独自算出の注目度）: 20.52894595103719
• License:
• Abstract: Achieving human-level dexterity in robots is a key objective in the field of robotic manipulation. Recent advancements in 3D-based imitation learning have shown promising results, providing an effective pathway to achieve this goal. However, obtaining high-quality 3D representations presents two key problems: (1) the quality of point clouds captured by a single-view camera is significantly affected by factors such as camera resolution, positioning, and occlusions caused by the dexterous hand; (2) the global point clouds lack crucial contact information and spatial correspondences, which are necessary for fine-grained dexterous manipulation tasks. To eliminate these limitations, we propose CordViP, a novel framework that constructs and learns correspondences by leveraging the robust 6D pose estimation of objects and robot proprioception. Specifically, we first introduce the interaction-aware point clouds, which establish correspondences between the object and the hand. These point clouds are then used for our pre-training policy, where we also incorporate object-centric contact maps and hand-arm coordination information, effectively capturing both spatial and temporal dynamics. Our method demonstrates exceptional dexterous manipulation capabilities with an average success rate of 90\% in four real-world tasks, surpassing other baselines by a large margin. Experimental results also highlight the superior generalization and robustness of CordViP to different objects, viewpoints, and scenarios. Code and videos are available on https://aureleopku.github.io/CordViP.
• Abstract（参考訳）: ロボットの人間レベルのデキスタリティを達成することは、ロボット操作の分野における重要な目標である。 近年の3次元模倣学習の進歩は有望な成果を示し、この目標を達成するための効果的な経路を提供する。 しかし,高品質な3D表現を得るには,(1)一眼カメラで捉えた点雲の質は,デクスタラスハンドによるカメラの解像度,位置,閉塞などの要因に大きく影響され,(2)大域点雲には重要な接触情報や空間的対応が欠如しており,細粒度のデクスタラスな操作作業に必要となる。 このような制約を解消するために,物体のロバストな6次元ポーズ推定とロボットのプロプライエセプションを活用することで,対応性の構築と学習を行う新しいフレームワークであるCordViPを提案する。 具体的には、まず、オブジェクトとハンドの対応を確立する対話対応の点雲を紹介します。 これらの点雲は、対象中心のコンタクトマップやハンドアームの調整情報も組み込んで、空間的および時間的両方のダイナミクスを効果的に捉える、事前学習ポリシーに使用される。 提案手法は, 4つの実世界のタスクにおいて, 平均成功率90 % の異常な操作能力を示し, 他のベースラインをはるかに上回っている。 実験結果はまた、さまざまなオブジェクト、視点、シナリオに対するCordViPの優れた一般化と堅牢性を強調している。 コードとビデオはhttps://aureleopku.github.io/CordViP.comで公開されている。

関連論文リスト

• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• GEARS: Local Geometry-aware Hand-object Interaction Synthesis [38.75942505771009]
  本研究では, 相互作用領域近傍の局所物体形状を推定するための, 結合中心型センサを提案する。 学習の複雑さを軽減するための重要なステップとして、グローバルフレームからテンプレートハンドフレームにポイントを変換し、共有モジュールを使用して各関節のセンサ特徴を処理する。 これに続いて、異なる次元の関節間の相関を捉えることを目的とした知覚時間変換ネットワークが提供される。
  論文  参考訳（メタデータ） (2024-04-02T09:18:52Z)
• RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
  本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。 RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。 我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
  論文  参考訳（メタデータ） (2024-03-24T05:55:39Z)
• Point Cloud Matters: Rethinking the Impact of Different Observation Spaces on Robot Learning [58.69297999175239]
  ロボット学習においては、異なるモードの異なる特徴のために観察空間が不可欠である。 本研究では,RGB, RGB-D, 点雲の3つのモードに着目し, 様々な観測空間がロボット学習に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-02-04T14:18:45Z)
• HACMan: Learning Hybrid Actor-Critic Maps for 6D Non-Prehensile Manipulation [29.01984677695523]
  本稿では6次元非包括的操作のための強化学習手法であるHybrid Actor-Critic Maps for Manipulation (HACMan)を紹介する。 シミュレーションおよび実世界における6次元オブジェクトポーズアライメントタスクにおけるHACManの評価を行った。 代替アクション表現と比較して、HACManは最高のベースラインの3倍以上の成功率を達成する。
  論文  参考訳（メタデータ） (2023-05-06T05:55:27Z)
• Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
  インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
  論文  参考訳（メタデータ） (2022-04-27T17:00:54Z)
• Learning-based Point Cloud Registration for 6D Object Pose Estimation in the Real World [55.7340077183072]
  我々は、ポイントクラウドデータからオブジェクトの6Dポーズを推定するタスクに取り組む。 この課題に対処する最近の学習ベースのアプローチは、合成データセットにおいて大きな成功を収めている。 これらの障害の原因を分析し、ソースとターゲットポイントの雲の特徴分布の違いに遡る。
  論文  参考訳（メタデータ） (2022-03-29T07:55:04Z)
• Where2Act: From Pixels to Actions for Articulated 3D Objects [54.19638599501286]
  可動部を有する関節物体の押出しや引抜き等の基本動作に関連する高度に局所化された動作可能な情報を抽出する。 シミュレーションでネットワークをトレーニングできるオンラインデータサンプリング戦略を備えた学習から対話までのフレームワークを提案します。 私たちの学習モデルは、現実世界のデータにも転送します。
  論文  参考訳（メタデータ） (2021-01-07T18:56:38Z)
• Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings [22.889059874754242]
  脳卒中に基づく非フォトリアリスティック画像の生成は、コンピュータビジョンコミュニティにおいて重要な問題である。 従来の手法は、前景オブジェクトの位置、規模、正当性にほとんど変化のないデータセットに限られていた。 本研究では,1)前景と背景の筆画の区別を学習するための2段階の塗装手順を備えたセマンティック・ガイダンス・パイプラインを提案する。
  論文  参考訳（メタデータ） (2020-11-25T09:00:04Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。