論文の概要: XHand: Real-time Expressive Hand Avatar

• arxiv url: http://arxiv.org/abs/2407.21002v1
• Date: Tue, 30 Jul 2024 17:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 16:21:06.197209
• Title: XHand: Real-time Expressive Hand Avatar
• Title（参考訳）: XHand:リアルタイム表現型ハンドアバター
• Authors: Qijun Gan, Zijie Zhou, Jianke Zhu,
• Abstract要約: 我々は,手形,外観,変形をリアルタイムで生成できる表現力のある手形アバターXHandを紹介した。 XHandは、さまざまなポーズをリアルタイムで横断する手動アニメーションのための高忠実な幾何学とテクスチャを復元することができる。
• 参考スコア（独自算出の注目度）: 9.876680405587745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hand avatars play a pivotal role in a wide array of digital interfaces, enhancing user immersion and facilitating natural interaction within virtual environments. While previous studies have focused on photo-realistic hand rendering, little attention has been paid to reconstruct the hand geometry with fine details, which is essential to rendering quality. In the realms of extended reality and gaming, on-the-fly rendering becomes imperative. To this end, we introduce an expressive hand avatar, named XHand, that is designed to comprehensively generate hand shape, appearance, and deformations in real-time. To obtain fine-grained hand meshes, we make use of three feature embedding modules to predict hand deformation displacements, albedo, and linear blending skinning weights, respectively. To achieve photo-realistic hand rendering on fine-grained meshes, our method employs a mesh-based neural renderer by leveraging mesh topological consistency and latent codes from embedding modules. During training, a part-aware Laplace smoothing strategy is proposed by incorporating the distinct levels of regularization to effectively maintain the necessary details and eliminate the undesired artifacts. The experimental evaluations on InterHand2.6M and DeepHandMesh datasets demonstrate the efficacy of XHand, which is able to recover high-fidelity geometry and texture for hand animations across diverse poses in real-time. To reproduce our results, we will make the full implementation publicly available at https://github.com/agnJason/XHand.
• Abstract（参考訳）: ハンドアバターは、幅広いデジタルインターフェースにおいて重要な役割を担い、ユーザの没入性を高め、仮想環境における自然なインタラクションを促進する。 これまでの研究では、写真リアリスティックなハンドレンダリングに焦点が当てられていたが、細部で手形状を再構築するためにはほとんど注意が払われていない。 拡張現実とゲームの世界では、オンザフライレンダリングは必須となる。 この目的のために,手形,外観,変形をリアルタイムに包括的に生成する表現力のある手形アバターXHandを導入する。 細粒度ハンドメッシュを得るために, 3つの特徴埋め込みモジュールを用いて手指変形, アルベド, および線形ブレンディングスキンウェイトをそれぞれ予測する。 そこで本手法では,メッシュのトポロジ的一貫性と埋め込みモジュールからの潜時符号を活用することにより,メッシュベースのニューラルレンダラーを用いる。 トレーニング中、必要な詳細を効果的に維持し、望ましくないアーティファクトを排除するために、異なるレベルの正規化を組み込むことにより、部分的に認識されたラプラス平滑化戦略が提案される。 InterHand2.6MデータセットとDeepHandMeshデータセットの実験的評価は、XHandの有効性を示している。 結果を再現するために、完全な実装をhttps://github.com/agnJason/XHand.comで公開します。

関連論文リスト

• Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
  本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。 また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。 提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-08T07:28:24Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• 3D Points Splatting for Real-Time Dynamic Hand Reconstruction [13.392046706568275]
  3Dポイントスプレイティングハンドリコンストラクション(3D-PSHR)はリアルタイム・光リアルハンドリコンストラクション手法である。 本稿では,高分解能手形状表現を実現するための自己適応型標準点アップ戦略を提案する。 テクスチャをモデル化するため,本態性アルベドとポーズアウェアシェーディングの外観色を分離した。
  論文  参考訳（メタデータ） (2023-12-21T11:50:49Z)
• HandRefiner: Refining Malformed Hands in Generated Images by Diffusion-based Conditional Inpainting [72.95232302438207]
  拡散モデルは現実的な画像の生成において顕著な成功を収めた。 しかし、不正確な指数や不規則な形など、正確な人間の手を生成することに苦しむ。 本稿では,HandRefinerという軽量な後処理ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:52:08Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• HARP: Personalized Hand Reconstruction from a Monocular RGB Video [37.384221764796095]
  本稿では,ヒトの手の短い単眼的RGB映像を入力として用いた,パーソナライズされた手指アバター作成手法であるHARPを提案する。 神経暗黙表現の大きな傾向とは対照的に、HARPはメッシュベースのパラメトリックハンドモデルで手をモデル化する。 HarPはリアルタイムレンダリング機能を備えたAR/VRアプリケーションで直接使用することができる。
  論文  参考訳（メタデータ） (2022-12-19T15:21:55Z)
• Hand Avatar: Free-Pose Hand Animation and Rendering from Monocular Video [23.148367696192107]
  我々は手動アニメーションとレンダリングのための新しい表現であるHandAvatarを紹介する。 HandAvatarは、スムーズな構成幾何学と自己排他的テクスチャを生成することができる。
  論文  参考訳（メタデータ） (2022-11-23T08:50:03Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• DeepHandMesh: A Weakly-supervised Deep Encoder-Decoder Framework for High-fidelity Hand Mesh Modeling [75.69585456580505]
  DeepHandMeshは、高忠実度ハンドメッシュモデリングのための弱教師付きディープエンコーダデコーダフレームワークである。 また,一般画像からの3次元手メッシュ推定にも有効であることを示す。
  論文  参考訳（メタデータ） (2020-08-19T00:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。