論文の概要: DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for High-fidelity Hand Mesh Modeling

• arxiv url: http://arxiv.org/abs/2008.08213v1
• Date: Wed, 19 Aug 2020 00:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 11:50:34.544389
• Title: DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for High-fidelity Hand Mesh Modeling
• Title（参考訳）: DeepHandMesh:高忠実ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワーク
• Authors: Gyeongsik Moon, Takaaki Shiratori, Kyoung Mu Lee
• Abstract要約: DeepHandMeshは、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークである。 また,一般画像からの3次元手メッシュ推定にも有効であることを示す。
• 参考スコア（独自算出の注目度）: 75.69585456580505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human hands play a central role in interacting with other people and objects. For realistic replication of such hand motions, high-fidelity hand meshes have to be reconstructed. In this study, we firstly propose DeepHandMesh, a weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. We design our system to be trained in an end-to-end and weakly-supervised manner; therefore, it does not require groundtruth meshes. Instead, it relies on weaker supervisions such as 3D joint coordinates and multi-view depth maps, which are easier to get than groundtruth meshes and do not dependent on the mesh topology. Although the proposed DeepHandMesh is trained in a weakly-supervised way, it provides significantly more realistic hand mesh than previous fully-supervised hand models. Our newly introduced penetration avoidance loss further improves results by replicating physical interaction between hand parts. Finally, we demonstrate that our system can also be applied successfully to the 3D hand mesh estimation from general images. Our hand model, dataset, and codes are publicly available at https://mks0601.github.io/DeepHandMesh/.
• Abstract（参考訳）: 人間の手は、他の人や物体との対話において中心的な役割を果たす。 このような手の動きを現実的に再現するには、高忠実度ハンドメッシュを再構築する必要がある。 本研究では、まず、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークDeepHandMeshを提案する。 エンド・ツー・エンドで弱い教師付きでトレーニングするシステムを設計するので、基盤となるメッシュは必要ありません。 代わりに、3dジョイント座標やマルチビュー深度マップといった弱い監督に依存しており、これは接地メッシュよりも入手が容易であり、メッシュトポロジーに依存しない。 提案されたDeepHandMeshは、弱い教師付き方法でトレーニングされているが、以前の完全に教師付きハンドモデルよりもはるかに現実的なハンドメッシュを提供する。 新たに導入した侵入回避損失は,ハンドパーツ間の物理的インタラクションを複製することにより,さらに結果を改善する。 最後に,本システムは一般画像からの3次元手メッシュ推定にも有効であることを示す。 ハンドモデル、データセット、コードはhttps://mks0601.github.io/deephandmesh/で公開されています。

関連論文リスト

• XHand: Real-time Expressive Hand Avatar [9.876680405587745]
  我々は,手形,外観,変形をリアルタイムで生成できる表現力のある手形アバターXHandを紹介した。 XHandは、さまざまなポーズをリアルタイムで横断する手動アニメーションのための高忠実な幾何学とテクスチャを復元することができる。
  論文  参考訳（メタデータ） (2024-07-30T17:49:21Z)
• Reconstructing Hands in 3D with Transformers [64.15390309553892]
  単分子入力から3次元の手を再構成する手法を提案する。 ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
  論文  参考訳（メタデータ） (2023-12-08T18:59:07Z)
• End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image [9.238322841389994]
  複数手再構成のための単一段パイプラインを提案する。 具体的には,複数ヘッドのオートエンコーダ構造を設計し,各ヘッドネットワークが同じ特徴マップを共有し,ハンドセンター,ポーズ,テクスチャを出力する。 本手法は,弱教師付き手法と完全教師付き手法の両方において,最先端のモデルベース手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-18T03:57:14Z)
• HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network [57.206129938611454]
  本稿では,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。 閉鎖領域に手情報を注入することで、HandOccNetは3Dハンドメッシュベンチマークの最先端性能に達する。
  論文  参考訳（メタデータ） (2022-03-28T08:12:16Z)
• HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks [71.09275975580009]
  HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。 HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。 我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
  論文  参考訳（メタデータ） (2021-07-02T17:59:54Z)
• MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation [32.12879364117658]
  1枚のRGB画像から3Dハンドポーズを推定することは困難である。 我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。 提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-06T07:55:08Z)
• Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
  YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。 私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T14:35:37Z)
• HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
  弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
  論文  参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。