論文の概要: MVP-Human Dataset for 3D Human Avatar Reconstruction from Unconstrained
Frames
- arxiv url: http://arxiv.org/abs/2204.11184v2
- Date: Wed, 17 May 2023 10:58:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 21:15:03.447374
- Title: MVP-Human Dataset for 3D Human Avatar Reconstruction from Unconstrained
Frames
- Title(参考訳): 非拘束フレームからの3次元アバター再構成のためのMVP-Humanデータセット
- Authors: Xiangyu Zhu, Tingting Liao, Jiangjing Lyu, Xiang Yan, Yunfeng Wang,
Kan Guo, Qiong Cao, Stan Z. Li, and Zhen Lei
- Abstract要約: 野生(Arwild)における3次元アバター再構成を行い,まず暗黙のスキンフィールドを多段階的に再構成する。
大規模なデータセットであるMVP-Humanには400人の被験者が参加し、それぞれ異なるポーズで15のスキャンを行います。
全体として、特定のネットワークアーキテクチャと多様なデータにより、トレーニングされたモデルは、制約のないフレームから3Dアバターを再構築することができる。
- 参考スコア(独自算出の注目度): 59.37430649840777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider a novel problem of reconstructing a 3D human
avatar from multiple unconstrained frames, independent of assumptions on camera
calibration, capture space, and constrained actions. The problem should be
addressed by a framework that takes multiple unconstrained images as inputs,
and generates a shape-with-skinning avatar in the canonical space, finished in
one feed-forward pass. To this end, we present 3D Avatar Reconstruction in the
wild (ARwild), which first reconstructs the implicit skinning fields in a
multi-level manner, by which the image features from multiple images are
aligned and integrated to estimate a pixel-aligned implicit function that
represents the clothed shape. To enable the training and testing of the new
framework, we contribute a large-scale dataset, MVP-Human (Multi-View and
multi-Pose 3D Human), which contains 400 subjects, each of which has 15 scans
in different poses and 8-view images for each pose, providing 6,000 3D scans
and 48,000 images in total. Overall, benefits from the specific network
architecture and the diverse data, the trained model enables 3D avatar
reconstruction from unconstrained frames and achieves state-of-the-art
performance.
- Abstract(参考訳): 本稿では,複数の制約のないフレームから3次元アバターを再構成する,カメラキャリブレーション,キャプチャ空間,制約された動作の仮定に依存しない,新たな問題を考える。
この問題は、複数の制約のない画像を入力として取り、標準空間の形状とスキニングアバターを生成し、1つのフィードフォワードパスで終了するフレームワークによって解決されるべきである。
そこで本研究では,複数の画像から得られた画像の特徴をアライメントして統合し,その形状を表すピクセルにアライメントされた暗黙関数を推定することにより,暗黙のスキンフィールドを多段階的に再構築する野生の3次元アバター再構成(arwild)を提案する。
新しいフレームワークのトレーニングとテストを可能にするため、400人の被験者からなる大規模データセットMVP-Human(Multi-ViewとMulti-ViewとMulti-Pose 3D Human)をコントリビュートし、それぞれ異なるポーズで15のスキャンと8のビューイメージを持ち、合計6,000の3Dスキャンと48,000の画像を提供する。
全体として、特定のネットワークアーキテクチャと多様なデータにより、トレーニングされたモデルは、制約のないフレームから3Dアバターの再構築を可能にし、最先端のパフォーマンスを達成する。
関連論文リスト
- HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images [33.298962236215964]
数枚の写真アルバムからのヒトアバターの復元について検討した。
動的データを扱うために,深行テトラヘドラとスキン機構を統合する。
私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
論文 参考訳(メタデータ) (2023-11-27T10:01:31Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-14T22:33:09Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - Crowd3D: Towards Hundreds of People Reconstruction from a Single Image [57.58149031283827]
我々は,1つの大画面画像から数百人のグローバルな一貫性を持つ人々の3Dポーズ,形状,位置を再構築する最初のフレームワークであるCrowd3Dを提案する。
多数の人やさまざまな人体サイズに対応するため,適応型人間中心収穫方式を設計する。
論文 参考訳(メタデータ) (2023-01-23T11:45:27Z) - Structured 3D Features for Reconstructing Controllable Avatars [43.36074729431982]
パラメトリックな統計的メッシュ表面からサンプリングされた高密度な3次元点に画素整列画像特徴をプールする,新しい暗黙の3次元表現に基づくモデルであるStructured 3D Featuresを紹介する。
本研究では,S3Fモデルがモノクロ3D再構成やアルベド,シェーディング推定など,これまでの課題を超越していることを示す。
論文 参考訳(メタデータ) (2022-12-13T18:57:33Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies
from Single RGB Images [5.775625085664381]
本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。
このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。
本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
論文 参考訳(メタデータ) (2021-06-22T04:26:11Z) - Multi-person Implicit Reconstruction from a Single Image [37.6877421030774]
本稿では,1つの画像から複数の人物の詳細な空間的コヒーレントな再構築を実現するための新しいエンドツーエンド学習フレームワークを提案する。
既存のマルチパーソンメソッドは、モデルベースで、ゆるい服と髪の人々の正確な3dモデルをキャプチャできないことが多いという、2つの大きな欠点を抱えている。
論文 参考訳(メタデータ) (2021-04-19T13:21:55Z) - SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。
主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。
私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
論文 参考訳(メタデータ) (2020-06-05T18:53:36Z) - ARCH: Animatable Reconstruction of Clothed Humans [27.849315613277724]
ARCH(Animatable Reconstruction of Clothed Humans)は、モノクロ画像からアニメーション可能な3D衣服を正確に再構築するためのエンドツーエンドのフレームワークである。
ARCHは、単一の制約のないRGB画像から、詳細な3Dリップされたフルボディアバターを生成する、学習されたポーズ認識モデルである。
論文 参考訳(メタデータ) (2020-04-08T14:23:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。