論文の概要: Dense Hand-Object(HO) GraspNet with Full Grasping Taxonomy and Dynamics

• arxiv url: http://arxiv.org/abs/2409.04033v1
• Date: Fri, 6 Sep 2024 05:49:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 16:48:15.963110
• Title: Dense Hand-Object(HO) GraspNet with Full Grasping Taxonomy and Dynamics
• Title（参考訳）: フルグラスピング分類とダイナミクスを用いたDense Hand-Object(HO) GraspNet
• Authors: Woojin Cho, Jihyun Lee, Minjae Yi, Minje Kim, Taeyun Woo, Donghwan Kim, Taewook Ha, Hyokeun Lee, Je-Hwan Ryu, Woontack Woo, Tae-Kyun Kim,
• Abstract要約: HOGraspNetは、3Dハンドオブジェクトインタラクションのためのトレーニングデータセットである。 データセットには、10歳から74歳の99人の被験者のさまざまな手形が含まれている。 3Dハンドとオブジェクトメッシュ,3Dキーポイント,コンタクトマップ,Emphgraspラベルのラベルを提供する。
• 参考スコア（独自算出の注目度）: 43.30868393851785
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing datasets for 3D hand-object interaction are limited either in the data cardinality, data variations in interaction scenarios, or the quality of annotations. In this work, we present a comprehensive new training dataset for hand-object interaction called HOGraspNet. It is the only real dataset that captures full grasp taxonomies, providing grasp annotation and wide intraclass variations. Using grasp taxonomies as atomic actions, their space and time combinatorial can represent complex hand activities around objects. We select 22 rigid objects from the YCB dataset and 8 other compound objects using shape and size taxonomies, ensuring coverage of all hand grasp configurations. The dataset includes diverse hand shapes from 99 participants aged 10 to 74, continuous video frames, and a 1.5M RGB-Depth of sparse frames with annotations. It offers labels for 3D hand and object meshes, 3D keypoints, contact maps, and \emph{grasp labels}. Accurate hand and object 3D meshes are obtained by fitting the hand parametric model (MANO) and the hand implicit function (HALO) to multi-view RGBD frames, with the MoCap system only for objects. Note that HALO fitting does not require any parameter tuning, enabling scalability to the dataset's size with comparable accuracy to MANO. We evaluate HOGraspNet on relevant tasks: grasp classification and 3D hand pose estimation. The result shows performance variations based on grasp type and object class, indicating the potential importance of the interaction space captured by our dataset. The provided data aims at learning universal shape priors or foundation models for 3D hand-object interaction. Our dataset and code are available at https://hograspnet2024.github.io/.
• Abstract（参考訳）: 3Dハンドオブジェクトインタラクションのための既存のデータセットは、データ濃度、相互作用シナリオにおけるデータのバリエーション、あるいはアノテーションの品質に制限される。 本研究では,HOGraspNetと呼ばれる手動オブジェクトインタラクションのための総合的なトレーニングデータセットを提案する。 完全なグリップ分類を捕捉し、グリップアノテーションと広範囲なクラス内変異を提供する唯一の実際のデータセットである。 分類学を原子的作用としてつかむことで、それらの空間と時間組合せは物体の周りの複雑な手の動きを表現することができる。 我々は,YCBデータセットから22個の剛体オブジェクトと,形状と大きさの分類法を用いて8個の複合物を選択し,すべての手つかみ構成のカバレッジを確保する。 データセットには、10歳から74歳までの99人の被験者のさまざまな手形、連続的なビデオフレーム、およびアノテーション付きスパースフレームの1.5M RGB-Depthが含まれている。 3Dハンドとオブジェクトメッシュ、3Dキーポイント、3Dコンタクトマップ、および \emph{grasp labels} のラベルを提供する。 ハンドパラメトリックモデル(MANO)とハンド暗黙関数(HALO)を多視点RGBDフレームに適合させることにより、正確な手とオブジェクトの3Dメッシュを得る。 HALOフィッティングはパラメータチューニングを一切必要とせず、MANOと同等の精度でデータセットのサイズにスケーラビリティを実現することに注意してください。 HOGraspNetは,分類の把握と3次元ポーズ推定を行う。 その結果、グリップ型とオブジェクトクラスに基づく性能変化が示され、データセットが捉えた相互作用空間の潜在的重要性が示される。 提供されるデータは、3Dハンドオブジェクトインタラクションのための普遍的な形状や基礎モデルを学ぶことを目的としている。 私たちのデータセットとコードはhttps://hograspnet2024.github.io/で公開されています。

関連論文リスト

• HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data [42.49031063635004]
  本研究では,現実的かつ多様な3次元ハンドオブジェクトインタラクションデータを生成するためのHOIDiffusionを提案する。 本モデルは,3次元手対象幾何学構造とテキスト記述を画像合成の入力として用いた条件拡散モデルである。 生成した3Dデータを6次元オブジェクトのポーズ推定学習に適用し,認識システムの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-18T17:48:31Z)
• ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living [4.221961702292134]
  ADL4Dは、日々の生活活動(ADL)を行う異なる対象のセットで行動する、最大2人の被験者のデータセットである 我々のデータセットは75のシーケンスで構成されており、合計1.1MのRGB-Dフレーム、手とオブジェクトのポーズ、手ごとのきめ細かいアクションアノテーションで構成されています。 マルチビュー・マルチハンド3Dポーズ・アンノベーションのための自動システムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T18:51:52Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• HANDAL: A Dataset of Real-World Manipulable Object Categories with Pose Annotations, Affordances, and Reconstructions [17.9178233068395]
  本稿では,カテゴリレベルのオブジェクトポーズ推定とアベイランス予測のためのHANDALデータセットを提案する。 このデータセットは、17のカテゴリで212の現実世界のオブジェクトの2.2kビデオから308kの注釈付き画像フレームで構成されている。 6-DoFカテゴリレベルのポーズ+スケール推定と関連するタスクに対するデータセットの有用性について概説する。
  論文  参考訳（メタデータ） (2023-08-02T23:59:59Z)
• Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
  3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
  論文  参考訳（メタデータ） (2022-11-16T10:01:33Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
  ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。 正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
  論文  参考訳（メタデータ） (2022-04-28T17:23:59Z)
• GRAB: A Dataset of Whole-Body Human Grasping of Objects [53.00728704389501]
  人間の把握を理解するためのコンピュータの訓練には、複雑な3Dオブジェクトの形状、詳細な接触情報、ポーズと形状、時間の経過とともに3Dボディの動きを含む豊富なデータセットが必要である。 全身の3次元形状を含むGRABと呼ばれる新しいデータセットを収集し、形状と大きさの異なる51の日常的な物体と相互作用する10人の被験者のシーケンスを合成する。 これは、人間がオブジェクトをつかみ、操作する方法、全身がどのように関与し、どのように相互作用がタスクによって異なるかを理解するために、既存のデータセットをはるかに超えています。
  論文  参考訳（メタデータ） (2020-08-25T17:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。