論文の概要: HandGCAT: Occlusion-Robust 3D Hand Mesh Reconstruction from Monocular Images

• arxiv url: http://arxiv.org/abs/2403.07912v1
• Date: Tue, 27 Feb 2024 03:40:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 05:50:41.766870
• Title: HandGCAT: Occlusion-Robust 3D Hand Mesh Reconstruction from Monocular Images
• Title（参考訳）: HandGCAT: モノクロ画像からの閉塞型3Dハンドメッシュ再構成
• Authors: Shuaibing Wang, Shunli Wang, Dingkang Yang, Mingcheng Li, Ziyun Qian, Liuzhen Su, Lihua Zhang,
• Abstract要約: モノクロ画像から3Dハンドメッシュを再構築するための頑健で正確な手法を提案する。 HandGCATは、隠された領域の機能を強化するために、補償情報としてハンドプレッシャを完全に活用することができる。
• 参考スコア（独自算出の注目度）: 9.554136347258057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a robust and accurate method for reconstructing 3D hand mesh from monocular images. This is a very challenging problem, as hands are often severely occluded by objects. Previous works often have disregarded 2D hand pose information, which contains hand prior knowledge that is strongly correlated with occluded regions. Thus, in this work, we propose a novel 3D hand mesh reconstruction network HandGCAT, that can fully exploit hand prior as compensation information to enhance occluded region features. Specifically, we designed the Knowledge-Guided Graph Convolution (KGC) module and the Cross-Attention Transformer (CAT) module. KGC extracts hand prior information from 2D hand pose by graph convolution. CAT fuses hand prior into occluded regions by considering their high correlation. Extensive experiments on popular datasets with challenging hand-object occlusions, such as HO3D v2, HO3D v3, and DexYCB demonstrate that our HandGCAT reaches state-of-the-art performance. The code is available at https://github.com/heartStrive/HandGCAT.
• Abstract（参考訳）: モノクロ画像から3Dハンドメッシュを再構築するための頑健で正確な手法を提案する。 これは非常に難しい問題であり、しばしば手は物体によって取り除かれる。 従来の作品では2次元手ポーズ情報は無視されることが多く、それらは隠蔽領域と強く相関する手前の知識を含んでいる。 そこで本研究では,ハンドメッシュ再構成ネットワークHandGCATを提案する。 具体的には、知識誘導グラフ変換(KGC)モジュールとCATモジュールを設計した。 KGCはグラフ畳み込みにより2次元手ポーズから手先情報を抽出する。 CATは、高い相関性を考慮して、前もって閉塞領域に融合する。 HO3D v2、HO3D v3、DexYCBといった、手動オクルージョンに挑戦する一般的なデータセットに関する大規模な実験は、HandGCATが最先端のパフォーマンスに達することを実証しています。 コードはhttps://github.com/heartStrive/HandGCATで公開されている。

関連論文リスト

• AttentionHand: Text-driven Controllable Hand Image Generation for 3D Hand Reconstruction in the Wild [18.351368674337134]
  AttentionHandはテキスト駆動による手動画像生成の新しい手法である。 3Dハンドラベルとよく整合した、さまざまな、そして多数の手動画像を生成することができる。 テキスト・ツー・ハンド画像生成モデル間で最先端を実現する。
  論文  参考訳（メタデータ） (2024-07-25T13:29:32Z)
• Reconstructing Hands in 3D with Transformers [64.15390309553892]
  単分子入力から3次元の手を再構成する手法を提案する。 ハンドメッシュリカバリに対する我々のアプローチであるHaMeRは、完全にトランスフォーマーベースのアーキテクチャを踏襲し、以前の作業に比べて精度と堅牢性を大幅に向上させながら、ハンドを解析できる。
  論文  参考訳（メタデータ） (2023-12-08T18:59:07Z)
• MANUS: Markerless Grasp Capture using Articulated 3D Gaussians [10.487660855390974]
  我々はArticulated 3D Gaussian を用いたマーカレスハンドオブジェクトグラフキャプチャー手法 MANUS を提案する。 我々は,手話の高忠実度表現のために3次元ガウススプラッティングを拡張する3次元ガウス表現を新たに構築する。 最も正確な結果を得るためには、現在のデータセットが提供していない何万ものカメラビューが必要です。そのために、30以上のシーン、3つの被写体、そして700万フレーム以上からなる50以上のカメラから見る手動物体の把握を含む新しいデータセットであるMANUS-Graspsを構築します。
  論文  参考訳（メタデータ） (2023-12-04T18:56:22Z)
• HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network [57.206129938611454]
  本稿では,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。 閉鎖領域に手情報を注入することで、HandOccNetは3Dハンドメッシュベンチマークの最先端性能に達する。
  論文  参考訳（メタデータ） (2022-03-28T08:12:16Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural Networks [71.09275975580009]
  HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。 HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。 我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
  論文  参考訳（メタデータ） (2021-07-02T17:59:54Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
  弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
  論文  参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。