論文の概要: Fast Point-cloud to Mesh Reconstruction for Deformable Object Tracking
- arxiv url: http://arxiv.org/abs/2311.02749v1
- Date: Sun, 5 Nov 2023 19:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 16:02:31.431661
- Title: Fast Point-cloud to Mesh Reconstruction for Deformable Object Tracking
- Title（参考訳）: 変形性物体追跡のための高速ポイントクラウド・メッシュ再構成
- Authors: Elham Amin Mansour, Hehui Zheng, Robert K. Katzschmann
- Abstract要約: ロボットハンドがソフトオブジェクトを制御するためには、変形オブジェクトのオンライン状態フィードバックを取得する必要がある。
RGB-Dカメラは閉鎖された情報を30Hzの速度で収集できるが、後者は連続的な追跡可能な物体表面を表すものではない。
我々は,物体のカテゴリ毎に50Hz以上の速度で変形点雲の変形メッシュを作成できる手法を開発した。
- 参考スコア（独自算出の注目度）: 6.747057746131448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The world around us is full of soft objects that we as humans learn to
perceive and deform with dexterous hand movements from a young age. In order
for a Robotic hand to be able to control soft objects, it needs to acquire
online state feedback of the deforming object. While RGB-D cameras can collect
occluded information at a rate of 30 Hz, the latter does not represent a
continuously trackable object surface. Hence, in this work, we developed a
method that can create deforming meshes of deforming point clouds at a speed of
above 50 Hz for different categories of objects. The reconstruction of meshes
from point clouds has been long studied in the field of Computer graphics under
3D reconstruction and 4D reconstruction, however both lack the speed and
generalizability needed for robotics applications. Our model is designed using
a point cloud auto-encoder and a Real-NVP architecture. The latter is a
continuous flow neural network with manifold-preservation properties. Our model
takes a template mesh which is the mesh of an object in its canonical state and
then deforms the template mesh to match a deformed point cloud of the object.
Our method can perform mesh reconstruction and tracking at a rate of 58 Hz for
deformations of six different ycb categories. An instance of a downstream
application can be the control algorithm for a robotic hand that requires
online feedback from the state of a manipulated object which would allow online
grasp adaptation in a closed-loop manner. Furthermore, the tracking capacity
that our method provides can help in the system identification of deforming
objects in a marker-free approach. In future work, we will extend our method to
more categories of objects and real world deforming point clouds
- Abstract（参考訳）: 私たちの周りの世界はソフトな物体でいっぱいで、人間が若いころからデクスタースな手の動きで知覚し変形することを学びます。
ロボットハンドがソフトオブジェクトを制御できるようにするには、変形したオブジェクトのオンライン状態フィードバックを取得する必要がある。
rgb-dカメラは30hzの速度でオクルード情報を収集できるが、後者は連続追跡可能な物体表面を表すものではない。
そこで本研究では,異なるカテゴリの物体に対して50hz以上の速度で変形点雲の変形メッシュを作製する手法を開発した。
点雲からのメッシュの再構成は、3次元再構成と4次元再構成の下でコンピュータグラフィックスの分野で長い間研究されてきたが、ロボット工学アプリケーションに必要な速度と一般化性は欠如している。
我々のモデルはポイントクラウドオートエンコーダとReal-NVPアーキテクチャを用いて設計されている。
後者は、多様体保存特性を持つ連続流れニューラルネットワークである。
私たちのモデルは、標準的な状態にあるオブジェクトのメッシュであるテンプレートメッシュを取り、テンプレートメッシュを変形させて、オブジェクトの変形したポイントクラウドにマッチさせます。
本手法は6種類のycbの変形に対して58Hzの速度でメッシュ再構成と追跡を行う。
ダウンストリームアプリケーションの例としては、操作されたオブジェクトの状態からオンラインフィードバックを必要とするロボットハンドの制御アルゴリズムがある。
さらに,提案手法が提供する追跡能力は,マーカーフリーアプローチによる変形物体のシステム同定に有用である。
今後の作業では、メソッドをより多くのカテゴリのオブジェクトと現実のデフォーミングポイントクラウドに拡張します。
関連論文リスト
- PokeFlex: A Real-World Dataset of Deformable Objects for Robotics [17.533143584534155]
PokeFlexは3Dテクスチャメッシュ、ポイントクラウド、RGBイメージ、深度マップを含む、実世界のペアと注釈付きマルチモーダルデータを特徴とするデータセットである。
このようなデータは、オンライン3Dメッシュ再構築など、いくつかのダウンストリームタスクに活用することができる。
オンライン3Dメッシュ再構築におけるPokeFlexデータセットのユースケースを実演する。
論文 参考訳（メタデータ） (2024-10-10T07:54:17Z) - DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects [13.138509669247508]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分ビューポイントクラウドと目標形状のポイントクラウドで動作する。
この形状埋め込みにより、ロボットは必要なロボットのエンドエフェクタ動作を計算するビジュアルサーボコントローラを学習することができる。
論文 参考訳（メタデータ） (2023-05-08T04:08:06Z) - Variational Relational Point Completion Network for Robust 3D
Classification [59.80993960827833]
可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。
本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。
VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-04-18T17:03:20Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2023-03-28T08:21:44Z) - AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware
Transformers [94.11915008006483]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。
本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
論文 参考訳（メタデータ） (2023-01-11T16:14:12Z) - N-Cloth: Predicting 3D Cloth Deformation with Mesh-Based Networks [69.94313958962165]
本稿では,3次元布の変形予測のためのメッシュに基づく新しい学習手法(N-Cloth)を提案する。
グラフ畳み込みを用いて、メッシュ空間の非線形性を低減するために、布とメッシュを潜在空間に変換する。
我々のアプローチは、SMPL人間、非SMPL人間、または剛体に対応する様々な物体で、最大100ドルの三角形とシーンを持つ複雑な布メッシュを扱うことができる。
論文 参考訳（メタデータ） (2021-12-13T03:13:11Z) - Learning Visual Shape Control of Novel 3D Deformable Objects from
Partial-View Point Clouds [7.1659268120093635]
弾性、3次元変形可能な物体の解析モデルは、物体の形状を決定する際に存在する潜在的無限の自由度を記述するために、多数のパラメータを必要とする。
従来の3D形状制御の試みは、オブジェクト形状を表現するために手作りの特徴に依存しており、オブジェクト固有の制御モデルの訓練が必要である。
DeformerNetニューラルネットワークアーキテクチャは、操作対象の部分的な視点クラウドと目標形状の点クラウドで動作し、オブジェクト形状の低次元表現を学習する。
論文 参考訳（メタデータ） (2021-10-10T02:34:57Z) - PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers [81.71904691925428]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々はまた、ポイントクラウド補完のためにトランスフォーマーエンコーダデコーダアーキテクチャを採用するPoinTrと呼ばれる新しいモデルも設計している。
提案手法は,新しいベンチマークと既存ベンチマークの両方において,最先端の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-08-19T17:58:56Z) - DeformerNet: A Deep Learning Approach to 3D Deformable Object
Manipulation [5.733365759103406]
本稿では,DeformerNetと呼ばれるディープニューラルネットワークを利用した3次元変形可能なオブジェクト操作手法を提案する。
状態表現として3Dポイントクラウドを明示的に使用し、3D機能を学ぶためにポイントクラウドに畳み込みニューラルネットワークを適用します。
DeformerNetは、一度エンドツーエンドでトレーニングを行った後、変形可能なオブジェクトの現在の点雲とターゲット点雲の形状を直接ロボットグリップパー位置の所望の変位にマッピングする。
論文 参考訳（メタデータ） (2021-07-16T18:20:58Z) - Meshing Point Clouds with Predicted Intrinsic-Extrinsic Ratio Guidance [30.863194319818223]
既存のポイントへの接続情報のみを付加することで、インプットポイントクラウドを可能な限り活用することを提案する。
私たちの重要なイノベーションはローカル接続のサロゲートであり、本質的/外生的メトリクスを比較して計算します。
提案手法は, 詳細を保存できるだけでなく, あいまいな構造を扱えるだけでなく, 目に見えないカテゴリに対して強い一般化性を持つことを示す。
論文 参考訳（メタデータ） (2020-07-17T22:36:00Z) - ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds [78.25501874120489]
我々は、ポイントクラウドオートエンコーダの学習した潜在空間を活用することで、形状認識型3Dポイントクラウド攻撃を開発する。
以前のものとは違って、結果として生じる3D点の雲は、元の雲に近い状態での3D点の雲の形状の変化を反映している。
論文 参考訳（メタデータ） (2020-05-24T00:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。