論文の概要: 3D Points Splatting for Real-Time Dynamic Hand Reconstruction

• arxiv url: http://arxiv.org/abs/2312.13770v1
• Date: Thu, 21 Dec 2023 11:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 15:04:09.644094
• Title: 3D Points Splatting for Real-Time Dynamic Hand Reconstruction
• Title（参考訳）: リアルタイム動的手指再建のための3次元スプレーティング
• Authors: Zheheng Jiang, Hossein Rahmani, Sue Black, Bryan M. Williams
• Abstract要約: 3Dポイントスプレイティングハンドリコンストラクション(3D-PSHR)はリアルタイム・光リアルハンドリコンストラクション手法である。 本稿では,高分解能手形状表現を実現するための自己適応型標準点アップ戦略を提案する。 テクスチャをモデル化するため,本態性アルベドとポーズアウェアシェーディングの外観色を分離した。
• 参考スコア（独自算出の注目度）: 13.392046706568275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present 3D Points Splatting Hand Reconstruction (3D-PSHR), a real-time and photo-realistic hand reconstruction approach. We propose a self-adaptive canonical points upsampling strategy to achieve high-resolution hand geometry representation. This is followed by a self-adaptive deformation that deforms the hand from the canonical space to the target pose, adapting to the dynamic changing of canonical points which, in contrast to the common practice of subdividing the MANO model, offers greater flexibility and results in improved geometry fitting. To model texture, we disentangle the appearance color into the intrinsic albedo and pose-aware shading, which are learned through a Context-Attention module. Moreover, our approach allows the geometric and the appearance models to be trained simultaneously in an end-to-end manner. We demonstrate that our method is capable of producing animatable, photorealistic and relightable hand reconstructions using multiple datasets, including monocular videos captured with handheld smartphones and large-scale multi-view videos featuring various hand poses. We also demonstrate that our approach achieves real-time rendering speeds while simultaneously maintaining superior performance compared to existing state-of-the-art methods.
• Abstract（参考訳）: 3d-pshr, 実時間, フォトリアリスティックハンドリコンストラクションアプローチを用いて手指再建を行う。 本稿では,高分解能手形状表現を実現するための自己適応型標準点アップサンプリング戦略を提案する。 これは、MANOモデルを分割する一般的な慣行とは対照的に、標準点の動的変化に適応して、標準空間から対象のポーズに手を変形させる自己適応的変形により、柔軟性が向上し、幾何整合性が向上する。 テクスチャをモデル化するために,テクスチャを内在するアルベドやポーズ認識シェーディングに分解し,コンテキスト認識モジュールを通して学習する。 さらに,このアプローチにより,幾何学モデルと外観モデルを同時にエンドツーエンドで訓練することができる。 本手法は,ハンドヘルドスマートフォンで撮影された単眼映像や,多彩な手ポーズを特徴とする大規模マルチビュー映像を含む,複数のデータセットを用いて,アニメーション性,フォトリアリスティック,リフレッシュブルハンドリコンストラクションを生成できることを実証する。 また,本手法は,既存の最先端手法に比べて優れた性能を維持しつつ,リアルタイムレンダリング速度を実現することを実証する。

関連論文リスト

• EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
  本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。 まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。 最初の再構築では、事前に誘導された最適化方式を採用する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:35Z)
• GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
  GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。 最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
  論文  参考訳（メタデータ） (2024-03-15T09:47:35Z)
• Disjoint Pose and Shape for 3D Face Reconstruction [4.096453902709292]
  本稿では,ポーズと形状の相違を解消し,最適化を安定かつ正確にするためのエンドツーエンドパイプラインを提案する。 提案手法は, エンドツーエンドのトポロジ的整合性を実現し, 反復的な顔ポーズ改善を可能とし, 定量的および定性的な結果の両面で顕著な改善を示した。
  論文  参考訳（メタデータ） (2023-08-26T15:18:32Z)
• gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction [94.46581592405066]
  我々は手の構造を利用してSDFによる形状復元の指導を行う。 我々は、ポーズ変換のキネマティック連鎖を予測し、SDFを高調波ハンドポーズと整列させる。
  論文  参考訳（メタデータ） (2023-04-24T10:05:48Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• Learning Generative Models of Shape Handles [43.41382075567803]
  ハンドセットとして3次元形状を合成する生成モデルを提案する。 我々のモデルは、様々な濃度と異なる種類のハンドルを持つハンドセットを生成することができる。 得られた形状表現は直感的であり,従来の最先端技術よりも優れた品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-06T22:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。