論文の概要: Capturing and Animation of Body and Clothing from Monocular Video
- arxiv url: http://arxiv.org/abs/2210.01868v1
- Date: Tue, 4 Oct 2022 19:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 14:56:36.293856
- Title: Capturing and Animation of Body and Clothing from Monocular Video
- Title（参考訳）: モノクロビデオによる身体と衣服のキャプチャとアニメーション
- Authors: Yao Feng, Jinlong Yang, Marc Pollefeys, Michael J. Black, Timo Bolkart
- Abstract要約: メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
- 参考スコア（独自算出の注目度）: 105.87228128022804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent work has shown progress on extracting clothed 3D human avatars
from a single image, video, or a set of 3D scans, several limitations remain.
Most methods use a holistic representation to jointly model the body and
clothing, which means that the clothing and body cannot be separated for
applications like virtual try-on. Other methods separately model the body and
clothing, but they require training from a large set of 3D clothed human meshes
obtained from 3D/4D scanners or physics simulations. Our insight is that the
body and clothing have different modeling requirements. While the body is well
represented by a mesh-based parametric 3D model, implicit representations and
neural radiance fields are better suited to capturing the large variety in
shape and appearance present in clothing. Building on this insight, we propose
SCARF (Segmented Clothed Avatar Radiance Field), a hybrid model combining a
mesh-based body with a neural radiance field. Integrating the mesh into the
volumetric rendering in combination with a differentiable rasterizer enables us
to optimize SCARF directly from monocular videos, without any 3D supervision.
The hybrid modeling enables SCARF to (i) animate the clothed body avatar by
changing body poses (including hand articulation and facial expressions), (ii)
synthesize novel views of the avatar, and (iii) transfer clothing between
avatars in virtual try-on applications. We demonstrate that SCARF reconstructs
clothing with higher visual quality than existing methods, that the clothing
deforms with changing body pose and body shape, and that clothing can be
successfully transferred between avatars of different subjects. The code and
models are available at https://github.com/YadiraF/SCARF.
- Abstract（参考訳）: 近年の研究では、1枚の画像、ビデオ、あるいは一連の3Dスキャンから布張りの人間のアバターを抽出する研究が進んでいるが、いくつかの制限が残っている。
ほとんどの方法は、身体と衣服を共同でモデル化するために全体表現を用いるため、仮想試着のようなアプリケーションでは衣服と身体は分離できない。
他の方法は体と衣服を別々にモデル化するが、3D/4Dスキャナーや物理シミュレーションから得られた大きな3D布のメッシュのトレーニングが必要である。
私たちの洞察では、体と衣服は異なるモデリング要件を持っています。
身体はメッシュベースのパラメトリック3dモデルでよく表現されているが、暗黙的な表現と神経放射野は衣服に存在する多種多様な形状と外観を捉えるのに適している。
この知見に基づいて、メッシュベースの体とニューラルな放射場を組み合わせたハイブリッドモデルであるSCARF(Segmented Clothed Avatar Radiance Field)を提案する。
メッシュをボリュームレンダリングに統合し、差別化可能なラスタライザと組み合わせることで、3D監督なしにモノクロビデオから直接SCARFを最適化できる。
ハイブリッドモデリングはSCARFを可能にする
一 身体のポーズ(手話、表情を含む。)を変えて着物用アバターをアニメーションすること。
(ii)アバターの新しい視点を合成し、
(iii)仮想試着におけるアバター間の衣料の移動
スカーフは,既存の方法よりも高い視覚品質で衣服を再構築し,身体の姿勢や体形が変化して衣料が変形し,異なる被写体のアバター間で衣服がうまく移動できることを実証する。
コードとモデルはhttps://github.com/yadiraf/scarfで入手できる。
関連論文リスト
- Synthesizing Moving People with 3D Control [88.68284137105654]
対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。
まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。
第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
論文 参考訳（メタデータ） (2024-01-19T18:59:11Z) - Learning Disentangled Avatars with Hybrid 3D Representations [102.9632315060652]
本稿では,DELTA(Disentangled Avatars)について述べる。
身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。
これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
論文 参考訳（メタデータ） (2023-09-12T17:59:36Z) - AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars
Using 2D Diffusion [34.609403685504944]
ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。
我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。
また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
論文 参考訳（メタデータ） (2023-07-13T02:19:56Z) - Realistic, Animatable Human Reconstructions for Virtual Fit-On [0.7649716717097428]
個人化された3D人間モデルに異なる衣服を合わせることができるエンドツーエンドの仮想試着パイプラインを提案する。
本研究の主な目的は、3次元仮想環境において、アニマタブルな3次元人間モデルを構築し、異なる衣服を試着することである。
論文 参考訳（メタデータ） (2022-10-16T13:36:24Z) - gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。
本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2022-01-11T18:46:38Z) - The Power of Points for Modeling Humans in Clothing [60.00557674969284]
現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。
3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。
我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2021-09-02T17:58:45Z) - Explicit Clothing Modeling for an Animatable Full-Body Avatar [21.451440299450592]
マルチビューキャプチャービデオから上半身の衣服を明示的に表現したアニマタブルな布製のアバターを製作した。
身体力学と衣服状態の相互作用を学習するために、時間的畳み込みネットワークを用いて衣服潜伏コードの予測を行う。
3つの異なるアクターに対してフォトリアリスティックなアニメーションを出力し、単層アバターよりも布体アバターの利点を実演する。
論文 参考訳（メタデータ） (2021-06-28T17:58:40Z) - Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。
この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。
そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-29T20:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。