論文の概要: Fast Point Cloud to Mesh Reconstruction for Deformable Object Tracking
- arxiv url: http://arxiv.org/abs/2311.02749v3
- Date: Tue, 26 Mar 2024 21:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 22:42:58.916564
- Title: Fast Point Cloud to Mesh Reconstruction for Deformable Object Tracking
- Title（参考訳）: 変形性物体追跡のための高速点雲メッシュ再構成
- Authors: Elham Amin Mansour, Hehui Zheng, Robert K. Katzschmann,
- Abstract要約: 本研究では,その非変形状態における物体のメッシュであるテンプレートメッシュと,同一物体の変形点雲を入力とする手法を開発する。
トレーニングしたモデルでは,3000頂点のテンプレートメッシュと5,000点の変形点雲を用いて,58Hzの速度でメッシュ再構成と追跡を行うことができる。
ダウンストリームアプリケーションの例は、操作されたオブジェクトの状態からオンラインフィードバックを必要とするロボットハンドの制御アルゴリズムである。
- 参考スコア（独自算出の注目度）: 6.003255659803736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The world around us is full of soft objects we perceive and deform with dexterous hand movements. For a robotic hand to control soft objects, it has to acquire online state feedback of the deforming object. While RGB-D cameras can collect occluded point clouds at a rate of 30Hz, this does not represent a continuously trackable object surface. Hence, in this work, we developed a method that takes as input a template mesh which is the mesh of an object in its non-deformed state and a deformed point cloud of the same object, and then shapes the template mesh such that it matches the deformed point cloud. The reconstruction of meshes from point clouds has long been studied in the field of Computer graphics under 3D reconstruction and 4D reconstruction, however, both lack the speed and generalizability needed for robotics applications. Our model is designed using a point cloud auto-encoder and a Real-NVP architecture. Our trained model can perform mesh reconstruction and tracking at a rate of 58Hz on a template mesh of 3000 vertices and a deformed point cloud of 5000 points and is generalizable to the deformations of six different object categories which are assumed to be made of soft material in our experiments (scissors, hammer, foam brick, cleanser bottle, orange, and dice). The object meshes are taken from the YCB benchmark dataset. An instance of a downstream application can be the control algorithm for a robotic hand that requires online feedback from the state of the manipulated object which would allow online grasp adaptation in a closed-loop manner. Furthermore, the tracking capacity of our method can help in the system identification of deforming objects in a marker-free approach. In future work, we will extend our trained model to generalize beyond six object categories and additionally to real-world deforming point clouds.
- Abstract（参考訳）: 私たちを取り巻く世界は、私たちが知覚する柔らかい物体に満ちており、器用な手の動きで変形しています。
ロボットハンドが柔らかい物体を制御するためには、変形物体のオンライン状態フィードバックを取得する必要がある。
RGB-Dカメラは閉鎖された点雲を30Hzの速度で収集できるが、これは連続的に追跡可能な物体の表面を表すものではない。
そこで本研究では,物体の非変形状態におけるメッシュであるテンプレートメッシュと同一物体の変形点雲とを入力として,テンプレートメッシュを変形点雲と整合するように形成する手法を開発した。
点雲からのメッシュの再構成は、3次元再構成と4次元再構成の下でコンピュータグラフィックスの分野で長い間研究されてきたが、ロボット工学アプリケーションに必要な速度と一般化性は欠如している。
我々のモデルはポイントクラウドオートエンコーダとReal-NVPアーキテクチャを用いて設計されている。
トレーニングされたモデルでは,3000頂点のテンプレートメッシュと5,000点の変形点雲で58Hzの速度でメッシュ再構築と追跡を行うことができ,実験では軟質材料(シザー,ハンマー,泡瓦,クリーザーボトル,オレンジ,サイコロ)でできていると推定される6種類の対象カテゴリの変形に対して一般化可能である。
オブジェクトメッシュは、YCBベンチマークデータセットから取得される。
ダウンストリームアプリケーションの例としては、操作されたオブジェクトの状態からオンラインフィードバックを必要とするロボットハンドの制御アルゴリズムがある。
さらに,本手法のトラッキング能力は,マーカーレス手法による変形物体の同定に有効である。
今後の作業では、トレーニングされたモデルを6つのオブジェクトカテゴリを超えて一般化し、さらに現実世界のデフォーミングポイントクラウドに拡張します。
関連論文リスト
- PokeFlex: A Real-World Dataset of Deformable Objects for Robotics [17.533143584534155]
PokeFlexは3Dテクスチャメッシュ、ポイントクラウド、RGBイメージ、深度マップを含む、実世界のペアと注釈付きマルチモーダルデータを特徴とするデータセットである。
このようなデータは、オンライン3Dメッシュ再構築など、いくつかのダウンストリームタスクに活用することができる。
オンライン3Dメッシュ再構築におけるPokeFlexデータセットのユースケースを実演する。
論文 参考訳（メタデータ） (2024-10-10T07:54:17Z) - DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects [13.138509669247508]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分ビューポイントクラウドと目標形状のポイントクラウドで動作する。
この形状埋め込みにより、ロボットは必要なロボットのエンドエフェクタ動作を計算するビジュアルサーボコントローラを学習することができる。
論文 参考訳（メタデータ） (2023-05-08T04:08:06Z) - Variational Relational Point Completion Network for Robust 3D
Classification [59.80993960827833]
可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。
本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。
VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-04-18T17:03:20Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2023-03-28T08:21:44Z) - AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware
Transformers [94.11915008006483]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。
本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
論文 参考訳（メタデータ） (2023-01-11T16:14:12Z) - N-Cloth: Predicting 3D Cloth Deformation with Mesh-Based Networks [69.94313958962165]
本稿では,3次元布の変形予測のためのメッシュに基づく新しい学習手法(N-Cloth)を提案する。
グラフ畳み込みを用いて、メッシュ空間の非線形性を低減するために、布とメッシュを潜在空間に変換する。
我々のアプローチは、SMPL人間、非SMPL人間、または剛体に対応する様々な物体で、最大100ドルの三角形とシーンを持つ複雑な布メッシュを扱うことができる。
論文 参考訳（メタデータ） (2021-12-13T03:13:11Z) - Learning Visual Shape Control of Novel 3D Deformable Objects from
Partial-View Point Clouds [7.1659268120093635]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分的な視点クラウドと目標形状の点クラウドで動作し、オブジェクト形状の低次元表現を学習する。
論文 参考訳（メタデータ） (2021-10-10T02:34:57Z) - PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers [81.71904691925428]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々はまた、ポイントクラウド補完のためにトランスフォーマーエンコーダデコーダアーキテクチャを採用するPoinTrと呼ばれる新しいモデルも設計している。
提案手法は,新しいベンチマークと既存ベンチマークの両方において,最先端の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-08-19T17:58:56Z) - DeformerNet: A Deep Learning Approach to 3D Deformable Object
Manipulation [5.733365759103406]
本稿では,DeformerNetと呼ばれるディープニューラルネットワークを利用した3次元変形可能なオブジェクト操作手法を提案する。
状態表現として3Dポイントクラウドを明示的に使用し、3D機能を学ぶためにポイントクラウドに畳み込みニューラルネットワークを適用します。
DeformerNetは、一度エンドツーエンドでトレーニングを行った後、変形可能なオブジェクトの現在の点雲とターゲット点雲の形状を直接ロボットグリップパー位置の所望の変位にマッピングする。
論文 参考訳（メタデータ） (2021-07-16T18:20:58Z) - Meshing Point Clouds with Predicted Intrinsic-Extrinsic Ratio Guidance [30.863194319818223]
既存のポイントへの接続情報のみを付加することで、インプットポイントクラウドを可能な限り活用することを提案する。
私たちの重要なイノベーションはローカル接続のサロゲートであり、本質的/外生的メトリクスを比較して計算します。
提案手法は, 詳細を保存できるだけでなく, あいまいな構造を扱えるだけでなく, 目に見えないカテゴリに対して強い一般化性を持つことを示す。
論文 参考訳（メタデータ） (2020-07-17T22:36:00Z) - ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds [78.25501874120489]
我々は、ポイントクラウドオートエンコーダの学習した潜在空間を活用することで、形状認識型3Dポイントクラウド攻撃を開発する。
以前のものとは違って、結果として生じる3D点の雲は、元の雲に近い状態での3D点の雲の形状の変化を反映している。
論文 参考訳（メタデータ） (2020-05-24T00:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。