論文の概要: Authentic Hand Avatar from a Phone Scan via Universal Hand Model
- arxiv url: http://arxiv.org/abs/2405.07933v1
- Date: Mon, 13 May 2024 17:09:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 12:46:36.240319
- Title: Authentic Hand Avatar from a Phone Scan via Universal Hand Model
- Title（参考訳）: ユニバーサルハンドモデルによる電話スキャンからの認証ハンドアバター
- Authors: Gyeongsik Moon, Weipeng Xu, Rohan Joshi, Chenglei Wu, Takaaki Shiratori,
- Abstract要約: AR/VRの没入体験には、手形やテクスチャなどの識別可能な情報をすべて備えた本物の3Dハンドアバターが必要である。
任意のIDの高忠実度3Dハンドメッシュを普遍的に表現できるユニバーサルハンドモデル(UHM)を提案する。
トラッキングとモデリング中に皮膚のすべりに対処する新しい画像マッチング損失関数を提案する。
- 参考スコア（独自算出の注目度）: 34.17663047937003
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The authentic 3D hand avatar with every identifiable information, such as hand shapes and textures, is necessary for immersive experiences in AR/VR. In this paper, we present a universal hand model (UHM), which 1) can universally represent high-fidelity 3D hand meshes of arbitrary identities (IDs) and 2) can be adapted to each person with a short phone scan for the authentic hand avatar. For effective universal hand modeling, we perform tracking and modeling at the same time, while previous 3D hand models perform them separately. The conventional separate pipeline suffers from the accumulated errors from the tracking stage, which cannot be recovered in the modeling stage. On the other hand, ours does not suffer from the accumulated errors while having a much more concise overall pipeline. We additionally introduce a novel image matching loss function to address a skin sliding during the tracking and modeling, while existing works have not focused on it much. Finally, using learned priors from our UHM, we effectively adapt our UHM to each person's short phone scan for the authentic hand avatar.
- Abstract（参考訳）: AR/VRの没入体験には、手形やテクスチャなどの識別可能な情報をすべて備えた本物の3Dハンドアバターが必要である。
本稿では,ユニバーサルハンドモデル(UHM)を提案する。
1)任意のアイデンティティ(ID)の高忠実度3Dハンドメッシュを普遍的に表現することができる。
2) 身近な手用アバターの短い携帯スキャンで各人に適応できる。
効果的なユニバーサルハンドモデリングでは,トラッキングとモデリングを同時に行う一方,従来の3次元ハンドモデルは別々に行う。
従来の分離パイプラインは、モデリング段階では回復できないトラッキングステージからの累積エラーに悩まされる。
一方、我々はパイプライン全体の簡潔さを保ちながら、蓄積したエラーに悩まされていない。
さらに,トラッキングやモデリングにおいて,皮膚のすべりに対処する新たな画像マッチング損失関数を導入する。
最後に、UHMから学んだ先行情報を用いて、UHMを各人の手指アバターの短距離スキャンに効果的に適用する。
関連論文リスト
- GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳（メタデータ） (2023-11-22T19:13:00Z) - Learning Disentangled Avatars with Hybrid 3D Representations [102.9632315060652]
本稿では,DELTA(Disentangled Avatars)について述べる。
身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。
これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
論文 参考訳（メタデータ） (2023-09-12T17:59:36Z) - HARP: Personalized Hand Reconstruction from a Monocular RGB Video [37.384221764796095]
本稿では,ヒトの手の短い単眼的RGB映像を入力として用いた,パーソナライズされた手指アバター作成手法であるHARPを提案する。
神経暗黙表現の大きな傾向とは対照的に、HARPはメッシュベースのパラメトリックハンドモデルで手をモデル化する。
HarPはリアルタイムレンダリング機能を備えたAR/VRアプリケーションで直接使用することができる。
論文 参考訳（メタデータ） (2022-12-19T15:21:55Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳（メタデータ） (2022-10-04T19:34:05Z) - Embodied Hands: Modeling and Capturing Hands and Bodies Together [61.32931890166915]
人間は、コミュニケーションとタスクの解決のために、手と体を一緒に移動します。
ほとんどの方法は、体と手の3Dモデリングと追跡を別々に扱う。
我々は、手と体の相互作用をモデルとして定式化し、それをフルボディの4Dシーケンスに適合させる。
論文 参考訳（メタデータ） (2022-01-07T18:59:32Z) - Realistic Hands: A Hybrid Model for 3D Hand Reconstruction [14.87768436388877]
RGB画像から3Dハンドメッシュを強く推定することは、非常に望ましい課題である。
従来の方法は一般的にパラメトリックな3Dハンドモデルを使用するか、モデルフリーアプローチに従う。
本稿では,ディープニューラルネットワークとディファレンシャルレンダリングに基づく最適化を併用したハイブリッドアプローチを提案する。
論文 参考訳（メタデータ） (2021-08-31T17:40:49Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳（メタデータ） (2021-03-29T18:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。