論文の概要: AffordPose: A Large-scale Dataset of Hand-Object Interactions with Affordance-driven Hand Pose

• arxiv url: http://arxiv.org/abs/2309.08942v1
• Date: Sat, 16 Sep 2023 10:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 18:22:27.679305
• Title: AffordPose: A Large-scale Dataset of Hand-Object Interactions with Affordance-driven Hand Pose
• Title（参考訳）: AffordPose: Affordance-driven Hand Poseとハンドオブジェクトインタラクションの大規模データセット
• Authors: Juntao Jian, Xiuping Liu, Manyi Li, Ruizhen Hu, Jian Liu
• Abstract要約: AffordPoseは、手動ポーズによる手動オブジェクトインタラクションの大規模データセットである。 計26.7Kのハンドオブジェクトインタラクションを収集し、それぞれ3次元オブジェクト形状、部分レベルアベイランスラベル、手動で調整した手ポーズを含む。 包括的データ分析は、手-物間相互作用の共通特性と多様性を示している。
• 参考スコア（独自算出の注目度）: 16.65196181081623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How human interact with objects depends on the functional roles of the target objects, which introduces the problem of affordance-aware hand-object interaction. It requires a large number of human demonstrations for the learning and understanding of plausible and appropriate hand-object interactions. In this work, we present AffordPose, a large-scale dataset of hand-object interactions with affordance-driven hand pose. We first annotate the specific part-level affordance labels for each object, e.g. twist, pull, handle-grasp, etc, instead of the general intents such as use or handover, to indicate the purpose and guide the localization of the hand-object interactions. The fine-grained hand-object interactions reveal the influence of hand-centered affordances on the detailed arrangement of the hand poses, yet also exhibit a certain degree of diversity. We collect a total of 26.7K hand-object interactions, each including the 3D object shape, the part-level affordance label, and the manually adjusted hand poses. The comprehensive data analysis shows the common characteristics and diversity of hand-object interactions per affordance via the parameter statistics and contacting computation. We also conduct experiments on the tasks of hand-object affordance understanding and affordance-oriented hand-object interaction generation, to validate the effectiveness of our dataset in learning the fine-grained hand-object interactions. Project page: https://github.com/GentlesJan/AffordPose.
• Abstract（参考訳）: 人間がどのようにオブジェクトと相互作用するかは、対象オブジェクトの機能的役割に依存する。 妥当で適切なハンドオブジェクトインタラクションの学習と理解のためには、多数の人間によるデモンストレーションが必要です。 本研究では,手動ポーズを用いた手動オブジェクトインタラクションの大規模データセットであるAffordPoseを紹介する。 まず、使用やハンドオーバといった一般的な意図ではなく、各オブジェクトに対する特定の部分レベルのアフォーマンスラベル(ツイスト、プル、ハンドルグラップなど)をアノテートし、目的を示し、ハンドオブジェクトインタラクションのローカライゼーションを導く。 細粒度のハンドオブジェクトインタラクションは、手のポーズの詳細な配置に手中心のアフォーアンスが与える影響を明らかにしているが、ある程度の多様性も示している。 計26.7Kのハンドオブジェクトインタラクションを収集し、それぞれ3次元オブジェクト形状、部分レベルアベイランスラベル、手動で調整した手ポーズを含む。 包括的データ分析は,パラメータ統計と接触計算により,手-物体間相互作用の共通特性と多様性を示す。 また,ハンドオブジェクト・アプライアンス理解とアプライアンス指向のハンドオブジェクトインタラクション生成のタスクについて実験を行い,詳細なハンドオブジェクトインタラクションの学習におけるデータセットの有効性を検証する。 プロジェクトページ: https://github.com/GentlesJan/AffordPose.com

関連論文リスト

• DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
  DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。 タスクを把握段階とテキストベースのインタラクション段階に分解する。 把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
  論文  参考訳（メタデータ） (2024-03-26T16:06:42Z)
• InterTracker: Discovering and Tracking General Objects Interacting with Hands in the Wild [40.489171608114574]
  既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。 本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。 提案手法は最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-06T09:09:17Z)
• HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable Objects [8.711239906965893]
  HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。 提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
  論文  参考訳（メタデータ） (2023-01-18T16:55:15Z)
• Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
  3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
  論文  参考訳（メタデータ） (2022-11-16T10:01:33Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)
• InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image [71.17227941339935]
  大規模データセットであるInterHand2.6Mと,1枚のRGB画像から3次元インタラクションハンドポーズ推定を行うネットワークであるInterNetを提案する。 実験では,InterHand2.6Mのインタラクションハンドデータを利用する場合,3次元インタラクションハンドポーズ推定の精度が大きく向上することを示した。 この新しいデータセットの強力なベースラインとして機能するInterHand2.6M上でのInterNetの精度についても報告する。
  論文  参考訳（メタデータ） (2020-08-21T05:15:58Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。