論文の概要: RPMArt: Towards Robust Perception and Manipulation for Articulated Objects
- arxiv url: http://arxiv.org/abs/2403.16023v2
- Date: Sat, 28 Sep 2024 04:13:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:00:49.406585
- Title: RPMArt: Towards Robust Perception and Manipulation for Articulated Objects
- Title（参考訳）: RPMArt:人工物体のロバスト知覚と操作に向けて
- Authors: Junbo Wang, Wenhai Liu, Qiaojun Yu, Yang You, Liu Liu, Weiming Wang, Cewu Lu,
- Abstract要約: 本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
- 参考スコア（独自算出の注目度）: 56.73978941406907
- License:
- Abstract: Articulated objects are commonly found in daily life. It is essential that robots can exhibit robust perception and manipulation skills for articulated objects in real-world robotic applications. However, existing methods for articulated objects insufficiently address noise in point clouds and struggle to bridge the gap between simulation and reality, thus limiting the practical deployment in real-world scenarios. To tackle these challenges, we propose a framework towards Robust Perception and Manipulation for Articulated Objects (RPMArt), which learns to estimate the articulation parameters and manipulate the articulation part from the noisy point cloud. Our primary contribution is a Robust Articulation Network (RoArtNet) that is able to predict both joint parameters and affordable points robustly by local feature learning and point tuple voting. Moreover, we introduce an articulation-aware classification scheme to enhance its ability for sim-to-real transfer. Finally, with the estimated affordable point and articulation joint constraint, the robot can generate robust actions to manipulate articulated objects. After learning only from synthetic data, RPMArt is able to transfer zero-shot to real-world articulated objects. Experimental results confirm our approach's effectiveness, with our framework achieving state-of-the-art performance in both noise-added simulation and real-world environments. Code, data and more results can be found on the project website at https://r-pmart.github.io.
- Abstract（参考訳）: 人工物は日常生活で一般的に見られる。
ロボットは、現実世界のロボットアプリケーションにおいて、明瞭な物体に対する堅牢な認識と操作のスキルを発揮できることが不可欠である。
しかし、既存の音声オブジェクトの手法では、点雲のノイズに十分対応できず、シミュレーションと現実のギャップを埋めるのに苦労しているため、現実のシナリオでの実践的な展開が制限される。
これらの課題に対処するため,我々は,音節のパラメータを推定し,雑音の多い点群から調音部分を操作するRPMArt(Robust Perception and Manipulation for Articulated Objects)を提案する。
我々の主な貢献はロバスト・アーティキュレーション・ネットワーク(RoArtNet)であり、局所的な特徴学習と点タプル投票によって、関節パラメータと手頃な点の両方を堅牢に予測できる。
さらに,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
最後に、推定される安価な点と調音関節制約により、ロボットは、調音物体を操作する堅牢な動作を生成することができる。
合成データのみから学習した後、RPMArtはゼロショットを実世界の音声オブジェクトに転送することができる。
実験により,提案手法の有効性が確認され,ノイズ付加シミュレーションと実環境の両方で最先端の性能が達成された。
コード、データ、その他の結果はプロジェクトのWebサイトhttps://r-pmart.github.ioで見ることができる。
関連論文リスト
- Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-24T17:59:56Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - MARS: Multimodal Active Robotic Sensing for Articulated Characterization [6.69660410213287]
我々は,音声による物体のキャラクタリゼーションのための新しいフレームワークMARSを紹介する。
マルチスケールのRGB機能を活用してポイントクラウド機能を強化するマルチモーダルフュージョンモジュールを備えている。
本手法は,実世界の音声オブジェクトに効果的に一般化し,ロボットのインタラクションを向上する。
論文 参考訳（メタデータ） (2024-07-01T11:32:39Z) - GAMMA: Generalizable Articulation Modeling and Manipulation for
Articulated Objects [53.965581080954905]
本稿では,GAMMA(Generalizable Articulation Modeling and Manipulating for Articulated Objects)の新たな枠組みを提案する。
GAMMAは,異なるカテゴリーの多種多様な調音オブジェクトから,調音モデルと手取りポーズの相違を学習する。
その結果, GAMMA はSOTA の調音モデルおよび操作アルゴリズムを, 目に見えない, 横断的な調音オブジェクトで著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2023-09-28T08:57:14Z) - VoxPoser: Composable 3D Value Maps for Robotic Manipulation with
Language Models [38.503337052122234]
大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。
我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。
筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
論文 参考訳（メタデータ） (2023-07-12T07:40:48Z) - Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。
本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
論文 参考訳（メタデータ） (2023-04-18T02:28:55Z) - Ditto in the House: Building Articulation Models of Indoor Scenes
through Interactive Perception [31.009703947432026]
本研究は,ロボットの意図的なインタラクションを通じて室内シーンの調音モデルを構築することを検討する。
この課題にインタラクティブな認識アプローチを導入する。
シミュレーションと実世界の両方において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-02-02T18:22:00Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳（メタデータ） (2021-11-07T02:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。