Fugu-MT 論文翻訳(概要): HARP: Personalized Hand Reconstruction from a Monocular RGB Video

論文の概要: HARP: Personalized Hand Reconstruction from a Monocular RGB Video

arxiv url: http://arxiv.org/abs/2212.09530v3
Date: Mon, 3 Jul 2023 21:16:17 GMT
ステータス: 処理完了
システム内更新日: 2023-07-06 23:25:53.017011
Title: HARP: Personalized Hand Reconstruction from a Monocular RGB Video
Title（参考訳）: HARP:単眼のRGBビデオから手作りのパーソナライズ
Authors: Korrawe Karunratanakul, Sergey Prokudin, Otmar Hilliges, Siyu Tang
Abstract要約: 本稿では,ヒトの手の短い単眼的RGB映像を入力として用いた,パーソナライズされた手指アバター作成手法であるHARPを提案する。神経暗黙表現の大きな傾向とは対照的に、HARPはメッシュベースのパラメトリックハンドモデルで手をモデル化する。 HarPはリアルタイムレンダリング機能を備えたAR/VRアプリケーションで直接使用することができる。
参考スコア（独自算出の注目度）: 37.384221764796095
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present HARP (HAnd Reconstruction and Personalization), a personalized hand avatar creation approach that takes a short monocular RGB video of a human hand as input and reconstructs a faithful hand avatar exhibiting a high-fidelity appearance and geometry. In contrast to the major trend of neural implicit representations, HARP models a hand with a mesh-based parametric hand model, a vertex displacement map, a normal map, and an albedo without any neural components. As validated by our experiments, the explicit nature of our representation enables a truly scalable, robust, and efficient approach to hand avatar creation. HARP is optimized via gradient descent from a short sequence captured by a hand-held mobile phone and can be directly used in AR/VR applications with real-time rendering capability. To enable this, we carefully design and implement a shadow-aware differentiable rendering scheme that is robust to high degree articulations and self-shadowing regularly present in hand motion sequences, as well as challenging lighting conditions. It also generalizes to unseen poses and novel viewpoints, producing photo-realistic renderings of hand animations performing highly-articulated motions. Furthermore, the learned HARP representation can be used for improving 3D hand pose estimation quality in challenging viewpoints. The key advantages of HARP are validated by the in-depth analyses on appearance reconstruction, novel-view and novel pose synthesis, and 3D hand pose refinement. It is an AR/VR-ready personalized hand representation that shows superior fidelity and scalability.
Abstract（参考訳）: 本稿では,ヒトの手の短い単眼RGB映像を入力とし,高忠実な外観と形状を示す忠実な手のアバターを再構成する,パーソナライズされた手指アバター作成手法であるHARP(HAnd Reconstruction and Personalization)を提案する。神経暗黙表現の大きな傾向とは対照的に、HARPは、メッシュベースのパラメトリックハンドモデル、頂点変位マップ、正規マップ、神経成分のないアルベドで手をモデル化する。実験で検証されたように、私たちの表現の明示的な性質は、真にスケーラブルで堅牢で効率的なアプローチを可能にします。 HARPは携帯端末が取得した短いシーケンスからの勾配勾配によって最適化されており、リアルタイムレンダリング機能を備えたAR/VRアプリケーションで直接使用できる。これを実現するため,手動シーケンスに常在する高次調音や自己シャドーイングに頑健なシャドーア認識の識別可能なレンダリング手法を慎重に設計し,実装し,照明条件に挑戦する。また、見知らぬポーズや新しい視点に一般化し、高調波運動を行う手動アニメーションの写実的なレンダリングを生成する。さらに、学習されたHARP表現は、挑戦的な視点で3次元ポーズ推定品質を改善するために使用できる。 HARPの重要な利点は, 外観再構成, 新規視点, 新規ポーズ合成, 3次元ポーズ精細化の詳細な解析によって検証された。 ar/vr対応のパーソナライズドハンド表現で、忠実性とスケーラビリティに優れています。

関連論文リスト

XHand: Real-time Expressive Hand Avatar [9.876680405587745]
我々は,手形,外観,変形をリアルタイムで生成できる表現力のある手形アバターXHandを紹介した。 XHandは、さまざまなポーズをリアルタイムで横断する手動アニメーションのための高忠実な幾何学とテクスチャを復元することができる。
論文参考訳（メタデータ） (2024-07-30T17:49:21Z)
On the Utility of 3D Hand Poses for Action Recognition [36.64538554919222]
HandFormerは、手動オブジェクトの相互作用を効率的にモデル化する新しいマルチモーダルトランスである。我々は手指のモデリングを分類し,その短期的軌跡によって各関節を表現した。我々は,アセンブラ101およびH2O上での最先端性能を新たに達成し,エゴセントリックな動作認識を大幅に改善した。
論文参考訳（メタデータ） (2024-03-14T18:52:34Z)
GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文参考訳（メタデータ） (2023-12-04T18:55:45Z)
FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文参考訳（メタデータ） (2023-10-26T16:13:00Z)
HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image [41.580285338167315]
本稿では,1枚のRGB画像から3次元手オブジェクトシーンを再構成する前に,手オブジェクト間のインタラクションを学習する方法を提案する。我々は手形状を用いて手と物体形状の相対的な構成を制約する。そこで,HandNeRFは,手動による新たなグリップ構成のシーンを,同等の手法よりも高精度に再構築可能であることを示す。
論文参考訳（メタデータ） (2023-09-14T17:42:08Z)
HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文参考訳（メタデータ） (2023-03-24T06:19:19Z)
Hand Avatar: Free-Pose Hand Animation and Rendering from Monocular Video [23.148367696192107]
我々は手動アニメーションとレンダリングのための新しい表現であるHandAvatarを紹介する。 HandAvatarは、スムーズな構成幾何学と自己排他的テクスチャを生成することができる。
論文参考訳（メタデータ） (2022-11-23T08:50:03Z)
HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。まず,人体表面の高密度UV多様体上での人間の動きを符号化する。次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
論文参考訳（メタデータ） (2021-12-19T17:34:15Z)
Realistic Hands: A Hybrid Model for 3D Hand Reconstruction [14.87768436388877]
RGB画像から3Dハンドメッシュを強く推定することは、非常に望ましい課題である。従来の方法は一般的にパラメトリックな3Dハンドモデルを使用するか、モデルフリーアプローチに従う。本稿では,ディープニューラルネットワークとディファレンシャルレンダリングに基づく最適化を併用したハイブリッドアプローチを提案する。
論文参考訳（メタデータ） (2021-08-31T17:40:49Z)
Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
論文参考訳（メタデータ） (2021-03-22T10:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。