論文の概要: HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map

• arxiv url: http://arxiv.org/abs/2004.01588v1
• Date: Fri, 3 Apr 2020 14:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 04:46:27.779058
• Title: HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map
• Title（参考訳）: HandVoxNet: 深度マップからの3次元手形状とポス推定のための深部ボクセルベースネットワーク
• Authors: Jameel Malik, Ibrahim Abdelaziz, Ahmed Elhayek, Soshi Shimada, Sk Aziz Ali, Vladislav Golyanik, Christian Theobalt, Didier Stricker
• Abstract要約: 弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
• 参考スコア（独自算出の注目度）: 72.93634777578336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D hand shape and pose estimation from a single depth map is a new and challenging computer vision problem with many applications. The state-of-the-art methods directly regress 3D hand meshes from 2D depth images via 2D convolutional neural networks, which leads to artefacts in the estimations due to perspective distortions in the images. In contrast, we propose a novel architecture with 3D convolutions trained in a weakly-supervised manner. The input to our method is a 3D voxelized depth map, and we rely on two hand shape representations. The first one is the 3D voxelized grid of the shape which is accurate but does not preserve the mesh topology and the number of mesh vertices. The second representation is the 3D hand surface which is less accurate but does not suffer from the limitations of the first representation. We combine the advantages of these two representations by registering the hand surface to the voxelized hand shape. In the extensive experiments, the proposed approach improves over the state of the art by 47.8% on the SynHand5M dataset. Moreover, our augmentation policy for voxelized depth maps further enhances the accuracy of 3D hand pose estimation on real data. Our method produces visually more reasonable and realistic hand shapes on NYU and BigHand2.2M datasets compared to the existing approaches.
• Abstract（参考訳）: 単一深度マップからの3次元手形状とポーズ推定は多くのアプリケーションにおいて新しい挑戦的なコンピュータビジョン問題である。 最先端の手法は、2次元の畳み込みニューラルネットワークを介して2次元の深度画像から3次元の手メッシュを直接回帰させ、画像の視点歪みによる推定の成果をもたらす。 対照的に, 3次元畳み込みを弱教師付きで訓練した新しいアーキテクチャを提案する。 本手法の入力は3次元ボキセル化深度マップであり, 2つの手形状表現に依存している。 1つ目は、正確な形状の3dボクセル化格子であるが、メッシュトポロジーやメッシュ頂点の数を保存していない。 第2の表現は3次元の手の表面であり、精度は低いが第1の表現の限界に悩まされない。 これら2つの表現の利点は、手面をボキセル化ハンド形状に登録することで組み合わせる。 広範な実験において、提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 さらに,voxelized depth mapsの強化方針により,実データを用いた3次元手ポーズ推定の精度がさらに向上した。 提案手法は,既存のアプローチと比較して,NYUおよびBigHand2.2Mデータセットに対して,視覚的に合理的かつ現実的な手形状を生成する。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• Neural Voting Field for Camera-Space 3D Hand Pose Estimation [106.34750803910714]
  3次元暗黙表現に基づく1枚のRGB画像からカメラ空間の3Dハンドポーズ推定のための統一的なフレームワークを提案する。 本稿では,カメラフラストラムにおける高密度3次元ポイントワイド投票により,カメラ空間の3次元ハンドポーズを推定する,新しい3次元高密度回帰手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T16:51:34Z)
• HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks [71.09275975580009]
  HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。 HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。 我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
  論文  参考訳（メタデータ） (2021-07-02T17:59:54Z)
• Weakly-supervised Cross-view 3D Human Pose Estimation [16.045255544594625]
  弱教師付きクロスビュー3次元ポーズ推定のための簡易かつ効果的なパイプラインを提案する。 本手法は,最先端の性能を弱い教師付きで達成することができる。 本手法を標準ベンチマークデータセットHuman3.6Mで評価する。
  論文  参考訳（メタデータ） (2021-05-23T08:16:25Z)
• Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
  シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。 ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。 初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
  論文  参考訳（メタデータ） (2021-03-22T10:12:43Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。