論文の概要: HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network

• arxiv url: http://arxiv.org/abs/2203.14564v1
• Date: Mon, 28 Mar 2022 08:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 15:30:49.416845
• Title: HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network
• Title（参考訳）: handoccnet:octorion-robust 3d hand mesh推定ネットワーク
• Authors: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, Kyoung Mu Lee
• Abstract要約: 本稿では,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。 閉鎖領域に手情報を注入することで、HandOccNetは3Dハンドメッシュベンチマークの最先端性能に達する。
• 参考スコア（独自算出の注目度）: 57.206129938611454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hands are often severely occluded by objects, which makes 3D hand mesh estimation challenging. Previous works often have disregarded information at occluded regions. However, we argue that occluded regions have strong correlations with hands so that they can provide highly beneficial information for complete 3D hand mesh estimation. Thus, in this work, we propose a novel 3D hand mesh estimation network HandOccNet, that can fully exploits the information at occluded regions as a secondary means to enhance image features and make it much richer. To this end, we design two successive Transformer-based modules, called feature injecting transformer (FIT) and self- enhancing transformer (SET). FIT injects hand information into occluded region by considering their correlation. SET refines the output of FIT by using a self-attention mechanism. By injecting the hand information to the occluded region, our HandOccNet reaches the state-of-the-art performance on 3D hand mesh benchmarks that contain challenging hand-object occlusions. The codes are available in: https://github.com/namepllet/HandOccNet.
• Abstract（参考訳）: 手はしばしばオブジェクトによって厳しく遮られるため、3dハンドメッシュの推定が困難になる。 以前の作品は、しばしば隠された地域では無視された情報を持っている。 しかし, 閉塞領域は手と強い相関関係を持ち, 完全な3次元メッシュ推定に極めて有用な情報を提供することができると論じる。 そこで本研究では,画像特徴を向上し,よりリッチにする手段として,隠蔽領域の情報を完全に活用可能な,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。 そこで我々は,FIT(Feature Injecting Transformer)とSET(Self Enhancing Transformer)という,Transformerベースの連続モジュールを設計した。 FITは、その相関性を考慮して、隠蔽領域に手情報を注入する。 SETは自己保持機構を用いてFITの出力を洗練する。 occluded領域にハンド情報を注入することで、 handoccnetは3dハンドメッシュベンチマークにおける最先端のパフォーマンスに到達します。 コードはhttps://github.com/namepllet/handoccnet。

関連論文リスト

• Two Hands Are Better Than One: Resolving Hand to Hand Intersections via Occupancy Networks [33.9893684177763]
  自己閉塞と指の関節は推定に重大な問題を引き起こす。 我々は、手の体積を連続多様体として表す占有ネットワークを利用する。 我々は,手動交差点の可能性を最小限に抑えるために,交差点損失関数を設計する。
  論文  参考訳（メタデータ） (2024-04-08T11:32:26Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• HandGCAT: Occlusion-Robust 3D Hand Mesh Reconstruction from Monocular Images [9.554136347258057]
  モノクロ画像から3Dハンドメッシュを再構築するための頑健で正確な手法を提案する。 HandGCATは、隠された領域の機能を強化するために、補償情報としてハンドプレッシャを完全に活用することができる。
  論文  参考訳（メタデータ） (2024-02-27T03:40:43Z)
• HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields [96.04424738803667]
  HOISDFは手動ポーズ推定ネットワークである。 手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。 そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-26T22:48:37Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for High-fidelity Hand Mesh Modeling [75.69585456580505]
  DeepHandMeshは、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークである。 また,一般画像からの3次元手メッシュ推定にも有効であることを示す。
  論文  参考訳（メタデータ） (2020-08-19T00:59:51Z)
• BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks [37.65510556305611]
  本稿では,2次元シードステージ,3次元リフトステージ,メッシュ生成ステージの3段階からなる,エンドツーエンドで学習可能なモデルBiHandを紹介する。 BiHandの出力では、ネットワークから予測される関節回転と形状パラメータを用いて全手メッシュを復元する。 本モデルでは,最先端手法と比較して精度が向上し,いくつかの厳しい条件下で魅力的な3Dハンドメッシュを作成できる。
  論文  参考訳（メタデータ） (2020-08-12T03:13:17Z)
• Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
  YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。 私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。