論文の概要: HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks

• arxiv url: http://arxiv.org/abs/2107.01205v1
• Date: Fri, 2 Jul 2021 17:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 12:48:42.686136
• Title: HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks
• Title（参考訳）: HandVoxNet++:Voxel-based Neural Networksを用いた手形状と姿勢推定
• Authors: Jameel Malik and Soshi Shimada and Ahmed Elhayek and Sk Aziz Ali and Christian Theobalt and Vladislav Golyanik and Didier Stricker
• Abstract要約: HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。 HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。 我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
• 参考スコア（独自算出の注目度）: 71.09275975580009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D hand shape and pose estimation from a single depth map is a new and challenging computer vision problem with many applications. Existing methods addressing it directly regress hand meshes via 2D convolutional neural networks, which leads to artifacts due to perspective distortions in the images. To address the limitations of the existing methods, we develop HandVoxNet++, i.e., a voxel-based deep network with 3D and graph convolutions trained in a fully supervised manner. The input to our network is a 3D voxelized-depth-map-based on the truncated signed distance function (TSDF). HandVoxNet++ relies on two hand shape representations. The first one is the 3D voxelized grid of hand shape, which does not preserve the mesh topology and which is the most accurate representation. The second representation is the hand surface that preserves the mesh topology. We combine the advantages of both representations by aligning the hand surface to the voxelized hand shape either with a new neural Graph-Convolutions-based Mesh Registration (GCN-MeshReg) or classical segment-wise Non-Rigid Gravitational Approach (NRGA++) which does not rely on training data. In extensive evaluations on three public benchmarks, i.e., SynHand5M, depth-based HANDS19 challenge and HO-3D, the proposed HandVoxNet++ achieves the state-of-the-art performance. In this journal extension of our previous approach presented at CVPR 2020, we gain 41.09% and 13.7% higher shape alignment accuracy on SynHand5M and HANDS19 datasets, respectively. Our method is ranked first on the HANDS19 challenge dataset (Task 1: Depth-Based 3D Hand Pose Estimation) at the moment of the submission of our results to the portal in August 2020.
• Abstract（参考訳）: 単一深度マップからの3次元手形状とポーズ推定は多くのアプリケーションにおいて新しい挑戦的なコンピュータビジョン問題である。 既存の方法では、2D畳み込みニューラルネットワークを介して手メッシュを直接回帰し、画像の視点歪みによるアーティファクトにつながる。 既存の方法の限界に対処するため、handvoxnet++、すなわち3dおよびグラフ畳み込みを完全に教師付きで訓練したvoxelベースのディープネットワークを開発した。 ネットワークへの入力はtsdf(truncated signed distance function)に基づく3次元voxelized-depth-mapである。 HandVoxNet++は2つの手形表現に依存している。 1つ目は、メッシュトポロジを保存せず、最も正確な表現である手形状の3Dボキセル化格子である。 第2の表現は、メッシュトポロジーを保存する手表面である。 両表現の利点を,新たなニューラルグラフ畳み込み型メッシュ登録 (gcn-meshreg) や,トレーニングデータに依存しない古典的なセグメント単位非剛性重力アプローチ (nrga++) と組み合わせて,手表面とボクセル化手の形状を整合させることで組み合わせる。 SynHand5M、deep-based HANDS19 Challenge、HO-3Dという3つの公開ベンチマークの広範な評価において、提案されたHandVoxNet++は最先端のパフォーマンスを達成する。 CVPR 2020で発表されたこれまでのアプローチのジャーナル拡張では、SynHand5MとHANDS19データセットでそれぞれ41.09%と13.7%のアライメント精度が得られた。 HANDS19チャレンジデータセット(Task 1: Depth-Based 3D Hand Pose Estimation)では,2020年8月の結果がポータルに提出された時点で,本手法が第1位となった。

関連論文リスト

• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• Reconstructing Hands in 3D with Transformers [64.15390309553892]
  単分子入力から3次元の手を再構成する手法を提案する。 ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
  論文  参考訳（メタデータ） (2023-12-08T18:59:07Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image [9.238322841389994]
  複数手再構成のための単一段パイプラインを提案する。 具体的には,複数ヘッドのオートエンコーダ構造を設計し,各ヘッドネットワークが同じ特徴マップを共有し,ハンドセンター,ポーズ,テクスチャを出力する。 本手法は,弱教師付き手法と完全教師付き手法の両方において,最先端のモデルベース手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-18T03:57:14Z)
• HandFoldingNet: A 3D Hand Pose Estimation Network Using Multiscale-Feature Guided Folding of a 2D Hand Skeleton [4.1954750695245835]
  本稿では,高精度かつ効率的なポーズ推定器であるHandFoldingNetを提案する。 提案モデルでは, 折り畳み型デコーダを用いて, 与えられた2次元手骨を対応する関節座標に折り畳む。 実験結果から,提案モデルが既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-12T05:52:44Z)
• MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation [32.12879364117658]
  1枚のRGB画像から3Dハンドポーズを推定することは困難である。 我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。 提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-06T07:55:08Z)
• HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
  弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
  論文  参考訳（メタデータ） (2020-04-03T14:27:16Z)
• HandAugment: A Simple Data Augmentation Method for Depth-Based 3D Hand Pose Estimation [3.0969191504482247]
  本稿では,ニューラルネットワークのトレーニングプロセスを強化するために,画像データを合成するHandAugmentを提案する。 本研究では,HANDS 2019における深度に基づく3次元手ポーズ推定の課題において,本手法が第一位となることを示す。
  論文  参考訳（メタデータ） (2020-01-03T03:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。