論文の概要: HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields

• arxiv url: http://arxiv.org/abs/2402.17062v1
• Date: Mon, 26 Feb 2024 22:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:20:55.219020
• Title: HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields
• Title（参考訳）: HOISDF:グローバルサイン付き距離場を用いた3次元手動姿勢推定の制御
• Authors: Haozhe Qi, Chen Zhao, Mathieu Salzmann, Alexander Mathis
• Abstract要約: HOISDFは手動ポーズ推定ネットワークである。 手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。 そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 96.04424738803667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human hands are highly articulated and versatile at handling objects. Jointly estimating the 3D poses of a hand and the object it manipulates from a monocular camera is challenging due to frequent occlusions. Thus, existing methods often rely on intermediate 3D shape representations to increase performance. These representations are typically explicit, such as 3D point clouds or meshes, and thus provide information in the direct surroundings of the intermediate hand pose estimate. To address this, we introduce HOISDF, a Signed Distance Field (SDF) guided hand-object pose estimation network, which jointly exploits hand and object SDFs to provide a global, implicit representation over the complete reconstruction volume. Specifically, the role of the SDFs is threefold: equip the visual encoder with implicit shape information, help to encode hand-object interactions, and guide the hand and object pose regression via SDF-based sampling and by augmenting the feature representations. We show that HOISDF achieves state-of-the-art results on hand-object pose estimation benchmarks (DexYCB and HO3Dv2). Code is available at https://github.com/amathislab/HOISDF
• Abstract（参考訳）: 人間の手は非常に明瞭で、物を扱うのに多用途である。 手の3dポーズとモノクロカメラから操作する物体を共同で推定することは、頻繁な閉塞のため困難である。 したがって、既存の手法は性能を高めるために中間的な3次元形状表現に依存することが多い。 これらの表現は典型的には3次元点雲やメッシュのような明示的であり、中間手の位置推定の直接的な環境の情報を提供する。 そこで本研究では,手動とオブジェクトのSDFを協調的に活用し,全再構成ボリュームに対するグローバルで暗黙的な表現を提供する,手動距離場(SDF)誘導手動ポーズ推定ネットワークであるHOISDFを紹介する。 具体的には、SDFの役割は3つある: 視覚エンコーダに暗黙の形状情報を与え、手と物体の相互作用を符号化し、手と物体のポーズの回帰をSDFベースのサンプリングを通して誘導し、特徴表現を増強する。 hoisdf は手指ポーズ推定ベンチマーク (dexycb と ho3dv2) において最先端の結果を得る。 コードはhttps://github.com/amathislab/HOISDFで入手できる。

関連論文リスト

• Reconstructing Hand-Held Objects in 3D [53.277402172488735]
  本稿では,大規模言語/ビジョンモデルと3次元オブジェクトデータセットの最近のブレークスルーに基づくハンドヘルドオブジェクト再構築のパラダイムを提案する。 我々は、GPT-4(V)を用いて、画像中のオブジェクトにマッチする3次元オブジェクトモデルを検索し、そのモデルをネットワーク推論幾何に整合させる。 実験により、MCC-HOは実験室およびインターネットデータセット上で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-04-09T17:55:41Z)
• SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
  96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。 我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。 この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
  論文  参考訳（メタデータ） (2023-09-19T16:48:29Z)
• DDF-HO: Hand-Held Object Reconstruction via Conditional Directed Distance Field [82.81337273685176]
  DDF-HOは、DDF(Directed Distance Field)を形状表現として活用する新しいアプローチである。 我々はランダムに複数の光線をサンプリングし、新しい2D線に基づく特徴集約方式を導入することにより、局所的・大域的特徴を収集する。 合成および実世界のデータセットの実験は、DFF-HOが全てのベースライン手法を大きなマージンで一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-08-16T09:06:32Z)
• gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction [94.46581592405066]
  我々は手の構造を利用してSDFによる形状復元の指導を行う。 我々は、ポーズ変換のキネマティック連鎖を予測し、SDFを高調波ハンドポーズと整列させる。
  論文  参考訳（メタデータ） (2023-04-24T10:05:48Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。