論文の概要: ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image

• arxiv url: http://arxiv.org/abs/2403.10357v2
• Date: Mon, 18 Mar 2024 23:00:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 12:54:38.127100
• Title: ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image
• Title（参考訳）: ANIM:1枚のRGB-D画像からの人体再構成のための正確なニューラルインシシットモデル
• Authors: Marco Pesavento, Yuanlu Xu, Nikolaos Sarafianos, Robert Maier, Ziyan Wang, Chun-Han Yao, Marco Volino, Edmond Boyer, Adrian Hilton, Tony Tung,
• Abstract要約: ANIMは単視点RGB-D画像から任意の3次元形状を前例のない精度で再構成する新しい手法である。 我々のモデルは、深度情報を活用するためにピクセル整列とボクセル整列の両方の機能から幾何学的詳細を学習する。 実験によると、ANIMはRGB、表面正規、ポイントクラウド、RGB-Dデータを入力として使用する最先端の作業よりも優れている。
• 参考スコア（独自算出の注目度）: 40.03212588672639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in human shape learning, shows that neural implicit models are effective in generating 3D human surfaces from limited number of views, and even from a single RGB image. However, existing monocular approaches still struggle to recover fine geometric details such as face, hands or cloth wrinkles. They are also easily prone to depth ambiguities that result in distorted geometries along the camera optical axis. In this paper, we explore the benefits of incorporating depth observations in the reconstruction process by introducing ANIM, a novel method that reconstructs arbitrary 3D human shapes from single-view RGB-D images with an unprecedented level of accuracy. Our model learns geometric details from both multi-resolution pixel-aligned and voxel-aligned features to leverage depth information and enable spatial relationships, mitigating depth ambiguities. We further enhance the quality of the reconstructed shape by introducing a depth-supervision strategy, which improves the accuracy of the signed distance field estimation of points that lie on the reconstructed surface. Experiments demonstrate that ANIM outperforms state-of-the-art works that use RGB, surface normals, point cloud or RGB-D data as input. In addition, we introduce ANIM-Real, a new multi-modal dataset comprising high-quality scans paired with consumer-grade RGB-D camera, and our protocol to fine-tune ANIM, enabling high-quality reconstruction from real-world human capture.
• Abstract（参考訳）: 人間の形状学習の最近の進歩は、ニューラル暗黙のモデルが、限られた数のビューから、さらには単一のRGB画像から3次元の人間の表面を生成するのに効果的であることを示している。 しかし、既存の単分子的アプローチは、顔、手、布のしわなどの細かい幾何学的詳細を回復するのに依然として苦労している。 また、カメラの光学軸に沿って歪んだジオメトリーをもたらす奥行きの曖昧さも容易に生じやすい。 本稿では,単視点RGB-D画像から任意の3次元形状を復元する新しい手法であるANIMを導入することにより,復元過程に深度観測を取り入れることのメリットを検討する。 本モデルでは, 深度情報を活用し, 空間的関係を緩和し, 奥行きの曖昧さを緩和するために, 多解像度画素整列とボクセル整列の両特徴から幾何学的詳細を学習する。 再建面上に位置する点の符号付き距離場推定の精度を向上させる深度スーパービジョン戦略を導入することにより、再建形状の質をさらに向上する。 実験によると、ANIMはRGB、表面正規、ポイントクラウド、RGB-Dデータを入力として使用する最先端の作業よりも優れている。 さらに、コンシューマグレードのRGB-Dカメラと組み合わせた高品質なスキャンを含む新しいマルチモーダルデータセットであるANIM-Realと、ANIMを微調整するためのプロトコルを導入し、現実世界の人間の捕獲から高品質な再構築を可能にする。

関連論文リスト

• Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction [6.4279213810512665]
  RGBまたはRGBD画像からニューラル暗黙表現を学習する現在の方法は、欠落した部分と詳細を持つ3D曲面を生成する。 本稿では,1次微分特性を持つニューラル表現のトレーニング,すなわち表面正規化が,高精度な3次元表面再構成をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-06-07T11:48:47Z)
• High-Quality RGB-D Reconstruction via Multi-View Uncalibrated Photometric Stereo and Gradient-SDF [48.29050063823478]
  本稿では、カメラのポーズ、照明、アルベド、表面の正規化に取り組み、新しい多視点RGB-Dベースの再構成手法を提案する。 提案手法は,特定の物理モデルを用いて画像描画過程を定式化し,実際の表面の体積量を最適化する。
  論文  参考訳（メタデータ） (2022-10-21T19:09:08Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing [41.34640834483265]
  我々は,単眼のRGB画像のみを付加したフォトリアリスティックな3次元人体再構成のための,新しいエンドツーエンドトレーニング可能なディープニューラルネットワーク手法PHORHUMを提案する。 我々の画素アライメント法は,3次元形状を詳細に推定し,非整形表面色とシーン照明を併用した。
  論文  参考訳（メタデータ） (2022-04-19T14:06:16Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
  PIFuをベースとした再建術では, 顔面の平坦化が頻発する。 再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。 顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-12-03T18:46:49Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)
• Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
  1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。 ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。 提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
  論文  参考訳（メタデータ） (2020-08-18T06:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。