論文の概要: PokeFlex: A Real-World Dataset of Deformable Objects for Robotics
- arxiv url: http://arxiv.org/abs/2410.07688v1
- Date: Thu, 10 Oct 2024 07:54:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 15:36:27.044298
- Title: PokeFlex: A Real-World Dataset of Deformable Objects for Robotics
- Title（参考訳）: PokeFlex:ロボットのための変形可能なオブジェクトのリアルタイムデータセット
- Authors: Jan Obrist, Miguel Zamora, Hehui Zheng, Ronan Hinchet, Firat Ozdemir, Juan Zarate, Robert K. Katzschmann, Stelian Coros,
- Abstract要約: PokeFlexは3Dテクスチャメッシュ、ポイントクラウド、RGBイメージ、深度マップを含む、実世界のペアと注釈付きマルチモーダルデータを特徴とするデータセットである。
このようなデータは、オンライン3Dメッシュ再構築など、いくつかのダウンストリームタスクに活用することができる。
オンライン3Dメッシュ再構築におけるPokeFlexデータセットのユースケースを実演する。
- 参考スコア（独自算出の注目度）: 17.533143584534155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven methods have shown great potential in solving challenging manipulation tasks, however, their application in the domain of deformable objects has been constrained, in part, by the lack of data. To address this, we propose PokeFlex, a dataset featuring real-world paired and annotated multimodal data that includes 3D textured meshes, point clouds, RGB images, and depth maps. Such data can be leveraged for several downstream tasks such as online 3D mesh reconstruction, and it can potentially enable underexplored applications such as the real-world deployment of traditional control methods based on mesh simulations. To deal with the challenges posed by real-world 3D mesh reconstruction, we leverage a professional volumetric capture system that allows complete 360{\deg} reconstruction. PokeFlex consists of 18 deformable objects with varying stiffness and shapes. Deformations are generated by dropping objects onto a flat surface or by poking the objects with a robot arm. Interaction forces and torques are also reported for the latter case. Using different data modalities, we demonstrated a use case for the PokeFlex dataset in online 3D mesh reconstruction. We refer the reader to our website ( https://pokeflex-dataset.github.io/ ) for demos and examples of our dataset.
- Abstract（参考訳）: データ駆動の手法は、難しい操作タスクを解決する大きな可能性を示しているが、デフォルム可能なオブジェクトの領域におけるそれらの応用は、部分的にはデータの欠如によって制限されている。
これを解決するために,3次元テクスチャメッシュ,ポイントクラウド,RGBイメージ,奥行きマップを含む,実世界のペアと注釈付きマルチモーダルデータを備えたデータセットであるPokeFlexを提案する。
このようなデータは、オンライン3Dメッシュ再構成など、いくつかのダウンストリームタスクに利用することができ、メッシュシミュレーションに基づいた従来のコントロールメソッドの現実的なデプロイのような、未探索のアプリケーションを可能にする可能性がある。
実世界の3Dメッシュ再構築がもたらす課題に対処するために,360{\deg}の完全な再構築を可能にする,プロのボリュームキャプチャシステムを活用している。
PokeFlexは18個の変形可能なオブジェクトで構成されており、剛性や形状は様々である。
変形は、物体を平らな表面に落下させたり、ロボットアームで物体を突っ込んだりして起こる。
後者の場合、相互作用力とトルクも報告される。
異なるデータモダリティを用いて、オンライン3Dメッシュ再構築におけるPokeFlexデータセットのユースケースを実演した。
当社のデータセットのデモと例については、Webサイト(https://pokeflex-dataset.github.io/)を参照してください。
関連論文リスト
- DOFS: A Real-world 3D Deformable Object Dataset with Full Spatial Information for Dynamics Model Learning [7.513355021861478]
この研究は、完全な空間情報を持つ3次元変形可能な物体(例えば、弾塑性物体)のパイロットデータセットであるDOFSを提案する。
データセットは、アクティブな操作アクション、マルチビューのRGB-Dイメージ、よく登録されたポイントクラウド、3Dデフォルメメッシュ、セマンティクスによる3D占有で構成されている。
さらに, 弾塑性物体の力学をモデル化するための入力として, ダウンサンプリングされた3D占有力と動作を応用したニューラルネットワークを訓練した。
論文 参考訳（メタデータ） (2024-10-29T05:46:16Z) - Fast Point Cloud to Mesh Reconstruction for Deformable Object Tracking [6.003255659803736]
本研究では,その非変形状態における物体のメッシュであるテンプレートメッシュと,同一物体の変形点雲を入力とする手法を開発する。
トレーニングしたモデルでは,3000頂点のテンプレートメッシュと5,000点の変形点雲を用いて,58Hzの速度でメッシュ再構成と追跡を行うことができる。
ダウンストリームアプリケーションの例は、操作されたオブジェクトの状態からオンラインフィードバックを必要とするロボットハンドの制御アルゴリズムである。
論文 参考訳（メタデータ） (2023-11-05T19:59:36Z) - UniG3D: A Unified 3D Object Generation Dataset [75.49544172927749]
UniG3Dは、ShapeNetデータセット上に普遍的なデータ変換パイプラインを用いて構築された、統一された3Dオブジェクト生成データセットである。
このパイプラインは、各生の3Dモデルを包括的なマルチモーダルデータ表現に変換する。
データセットのデータソースの選択は、そのスケールと品質に基づいています。
論文 参考訳（メタデータ） (2023-06-19T07:03:45Z) - Parcel3D: Shape Reconstruction from Single RGB Images for Applications
in Transportation Logistics [62.997667081978825]
本研究では,ロジスティクスにおける損傷の防止と改ざん検出に焦点をあて,損傷の可能性のあるパーセルの3次元形状復元問題に取り組む。
本稿では,Google Scanned Objects (GSO)データセットに基づく新しい合成データセットParcel3Dを提案する。
本稿では,3次元境界ボックスと反復メッシュリファインメントを併用した,CubeRefine R-CNNという新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-04-18T13:55:51Z) - 3D Human Mesh Estimation from Virtual Markers [34.703241940871635]
体表面上の64個のランドマークキーポイントを学習する仮想マーカーを中間表現として提示する。
提案手法は3つのデータセット上で最先端の手法より優れている。
論文 参考訳（メタデータ） (2023-03-21T10:30:43Z) - MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices [78.20154723650333]
高品質な3次元地下構造は3次元物体再構成評価に不可欠である。
本稿では,モバイルデバイスを用いた新しいマルチビューRGBDデータセットを提案する。
我々は,ハイエンド3Dスキャナーを使わずに,精密な3次元地下構造が得られる。
論文 参考訳（メタデータ） (2023-03-03T14:02:50Z) - HM3D-ABO: A Photo-realistic Dataset for Object-centric Multi-view 3D
Reconstruction [37.29140654256627]
本稿では、フォトリアリスティックなオブジェクト中心データセットHM3D-ABOを提案する。
リアルな屋内シーンとリアルなオブジェクトを構成することで構築される。
このデータセットは、カメラポーズ推定やノベルビュー合成といったタスクにも有用である。
論文 参考訳（メタデータ） (2022-06-24T16:02:01Z) - D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。
我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。
我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
論文 参考訳（メタデータ） (2021-08-19T00:49:01Z) - GRAB: A Dataset of Whole-Body Human Grasping of Objects [53.00728704389501]
人間の把握を理解するためのコンピュータの訓練には、複雑な3Dオブジェクトの形状、詳細な接触情報、ポーズと形状、時間の経過とともに3Dボディの動きを含む豊富なデータセットが必要である。
全身の3次元形状を含むGRABと呼ばれる新しいデータセットを収集し、形状と大きさの異なる51の日常的な物体と相互作用する10人の被験者のシーケンスを合成する。
これは、人間がオブジェクトをつかみ、操作する方法、全身がどのように関与し、どのように相互作用がタスクによって異なるかを理解するために、既存のデータセットをはるかに超えています。
論文 参考訳（メタデータ） (2020-08-25T17:57:55Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳（メタデータ） (2020-07-22T13:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。