論文の概要: Towards unconstrained joint hand-object reconstruction from RGB videos

• arxiv url: http://arxiv.org/abs/2108.07044v1
• Date: Mon, 16 Aug 2021 12:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 20:10:05.402661
• Title: Towards unconstrained joint hand-object reconstruction from RGB videos
• Title（参考訳）: RGBビデオからの非拘束手指再建に向けて
• Authors: Yana Hasson, G\"ul Varol, Ivan Laptev, Cordelia Schmid
• Abstract要約: ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
• 参考スコア（独自算出の注目度）: 81.97694449736414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our work aims to obtain 3D reconstruction of hands and manipulated objects from monocular videos. Reconstructing hand-object manipulations holds a great potential for robotics and learning from human demonstrations. The supervised learning approach to this problem, however, requires 3D supervision and remains limited to constrained laboratory settings and simulators for which 3D ground truth is available. In this paper we first propose a learning-free fitting approach for hand-object reconstruction which can seamlessly handle two-hand object interactions. Our method relies on cues obtained with common methods for object detection, hand pose estimation and instance segmentation. We quantitatively evaluate our approach and show that it can be applied to datasets with varying levels of difficulty for which training data is unavailable.
• Abstract（参考訳）: 本研究は,単眼映像から手と操作対象の3次元再構成を実現することを目的としている。 ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 しかし、この問題に対する教師付き学習アプローチでは、3Dの監督が必要であり、3Dの真理が利用できる実験室の設定やシミュレータに制限されている。 本稿では,まず,双方向オブジェクトインタラクションをシームレスに処理可能なハンドオブジェクト再構築のための学習フリーフィッティング手法を提案する。 提案手法は, 物体検出, ハンドポーズ推定, インスタンスセグメンテーションの共通手法で得られた手がかりに依拠する。 我々は,このアプローチを定量的に評価し,トレーニングデータが利用できないさまざまな難易度を持つデータセットに適用可能であることを示す。

関連論文リスト

• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
  96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。 我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。 この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
  論文  参考訳（メタデータ） (2023-09-19T16:48:29Z)
• HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image [41.580285338167315]
  本稿では,1枚のRGB画像から3次元手オブジェクトシーンを再構成する前に,手オブジェクト間のインタラクションを学習する方法を提案する。 我々は手形状を用いて手と物体形状の相対的な構成を制約する。 そこで,HandNeRFは,手動による新たなグリップ構成のシーンを,同等の手法よりも高精度に再構築可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:42:08Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Reconstructing Hand-Held Objects from Monocular Video [95.06750686508315]
  本稿では,モノクロ映像から手持ち物体を再構成する手法を提案する。 トレーニングされたネットワークによってオブジェクトの幾何学を直接予測する最近の多くの手法とは対照的に、提案手法ではオブジェクトに先行する学習を一切必要としない。
  論文  参考訳（メタデータ） (2022-11-30T09:14:58Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。