論文の概要: HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network
- arxiv url: http://arxiv.org/abs/2203.14564v1
- Date: Mon, 28 Mar 2022 08:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 15:30:49.416845
- Title: HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network
- Title(参考訳): handoccnet:octorion-robust 3d hand mesh推定ネットワーク
- Authors: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, Kyoung Mu Lee
- Abstract要約: 本稿では,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。
閉鎖領域に手情報を注入することで、HandOccNetは3Dハンドメッシュベンチマークの最先端性能に達する。
- 参考スコア(独自算出の注目度): 57.206129938611454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hands are often severely occluded by objects, which makes 3D hand mesh
estimation challenging. Previous works often have disregarded information at
occluded regions. However, we argue that occluded regions have strong
correlations with hands so that they can provide highly beneficial information
for complete 3D hand mesh estimation. Thus, in this work, we propose a novel 3D
hand mesh estimation network HandOccNet, that can fully exploits the
information at occluded regions as a secondary means to enhance image features
and make it much richer. To this end, we design two successive
Transformer-based modules, called feature injecting transformer (FIT) and self-
enhancing transformer (SET). FIT injects hand information into occluded region
by considering their correlation. SET refines the output of FIT by using a
self-attention mechanism. By injecting the hand information to the occluded
region, our HandOccNet reaches the state-of-the-art performance on 3D hand mesh
benchmarks that contain challenging hand-object occlusions. The codes are
available in: https://github.com/namepllet/HandOccNet.
- Abstract(参考訳): 手はしばしばオブジェクトによって厳しく遮られるため、3dハンドメッシュの推定が困難になる。
以前の作品は、しばしば隠された地域では無視された情報を持っている。
しかし, 閉塞領域は手と強い相関関係を持ち, 完全な3次元メッシュ推定に極めて有用な情報を提供することができると論じる。
そこで本研究では,画像特徴を向上し,よりリッチにする手段として,隠蔽領域の情報を完全に活用可能な,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。
そこで我々は,FIT(Feature Injecting Transformer)とSET(Self Enhancing Transformer)という,Transformerベースの連続モジュールを設計した。
FITは、その相関性を考慮して、隠蔽領域に手情報を注入する。
SETは自己保持機構を用いてFITの出力を洗練する。
occluded領域にハンド情報を注入することで、 handoccnetは3dハンドメッシュベンチマークにおける最先端のパフォーマンスに到達します。
コードはhttps://github.com/namepllet/handoccnet。
関連論文リスト
- HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed
Distance Fields [96.04424738803667]
HOISDFは手動ポーズ推定ネットワークである。
手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。
そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
論文 参考訳(メタデータ) (2024-02-26T22:48:37Z) - Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ
本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。
高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
論文 参考訳(メタデータ) (2021-09-03T20:42:01Z) - HandFoldingNet: A 3D Hand Pose Estimation Network Using
Multiscale-Feature Guided Folding of a 2D Hand Skeleton [4.1954750695245835]
本稿では,高精度かつ効率的なポーズ推定器であるHandFoldingNetを提案する。
提案モデルでは, 折り畳み型デコーダを用いて, 与えられた2次元手骨を対応する関節座標に折り畳む。
実験結果から,提案モデルが既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-08-12T05:52:44Z) - HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural
Networks [71.09275975580009]
HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。
HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。
我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
論文 参考訳(メタデータ) (2021-07-02T17:59:54Z) - MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand
Pose Estimation [32.12879364117658]
1枚のRGB画像から3Dハンドポーズを推定することは困難である。
我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。
提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2020-12-06T07:55:08Z) - DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for
High-fidelity Hand Mesh Modeling [75.69585456580505]
DeepHandMeshは、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークである。
また,一般画像からの3次元手メッシュ推定にも有効であることを示す。
論文 参考訳(メタデータ) (2020-08-19T00:59:51Z) - BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass
Networks [37.65510556305611]
本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドで学習可能なモデルBiHandを紹介する。
BiHandの出力では、ネットワークから予測される関節回転と形状パラメータを用いて全手メッシュを復元する。
本モデルでは,最先端手法と比較して精度が向上し,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できる。
論文 参考訳(メタデータ) (2020-08-12T03:13:17Z) - Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。
私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2020-04-04T14:35:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。