論文の概要: Learning Disentangled Avatars with Hybrid 3D Representations
- arxiv url: http://arxiv.org/abs/2309.06441v1
- Date: Tue, 12 Sep 2023 17:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 11:53:46.086675
- Title: Learning Disentangled Avatars with Hybrid 3D Representations
- Title（参考訳）: ハイブリッド3次元表現による異方性アバターの学習
- Authors: Yao Feng, Weiyang Liu, Timo Bolkart, Jinlong Yang, Marc Pollefeys,
Michael J. Black
- Abstract要約: 本稿では,DELTA(Disentangled Avatars)について述べる。
身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。
これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
- 参考スコア（独自算出の注目度）: 102.9632315060652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tremendous efforts have been made to learn animatable and photorealistic
human avatars. Towards this end, both explicit and implicit 3D representations
are heavily studied for a holistic modeling and capture of the whole human
(e.g., body, clothing, face and hair), but neither representation is an optimal
choice in terms of representation efficacy since different parts of the human
avatar have different modeling desiderata. For example, meshes are generally
not suitable for modeling clothing and hair. Motivated by this, we present
Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit
3D representations. DELTA takes a monocular RGB video as input, and produces a
human avatar with separate body and clothing/hair layers. Specifically, we
demonstrate two important applications for DELTA. For the first one, we
consider the disentanglement of the human body and clothing and in the second,
we disentangle the face and hair. To do so, DELTA represents the body or face
with an explicit mesh-based parametric 3D model and the clothing or hair with
an implicit neural radiance field. To make this possible, we design an
end-to-end differentiable renderer that integrates meshes into volumetric
rendering, enabling DELTA to learn directly from monocular videos without any
3D supervision. Finally, we show that how these two applications can be easily
combined to model full-body avatars, such that the hair, face, body and
clothing can be fully disentangled yet jointly rendered. Such a disentanglement
enables hair and clothing transfer to arbitrary body shapes. We empirically
validate the effectiveness of DELTA's disentanglement by demonstrating its
promising performance on disentangled reconstruction, virtual clothing try-on
and hairstyle transfer. To facilitate future research, we also release an
open-sourced pipeline for the study of hybrid human avatar modeling.
- Abstract（参考訳）: アニマタブルでフォトリアリスティックな人間のアバターを学ぶための多大な努力がなされている。
この目的に向けて、明示的および暗黙的な3D表現は、人間全体(例えば、体、衣服、顔、毛髪)を包括的にモデル化し、捕えるために深く研究されているが、人間のアバターの異なる部分が異なるモデリングデシダータを持つため、表現効率の観点からは、どちらの表現も最適な選択ではない。
例えば、メッシュは一般的に衣服や髪のモデリングには適していない。
そこで我々は,ハイブリッドな明示的3d表現を持つ人間をモデル化する不連続アバター~(デルタ)を提案する。
DELTAは単眼のRGB動画を入力として、別の体と衣服/髪の層を持つ人間のアバターを生成する。
具体的には,DELTAの2つの重要な応用例を示す。
第一に、人体と衣服の絡み合い、第二に顔と髪の絡み合いについて考える。
そのためにdeltaは、体や顔を明示的なメッシュベースのパラメトリック3dモデルで表現し、服や髪は暗黙の神経放射野で表現する。
これを実現するために,メッシュをボリュームレンダリングに統合したエンドツーエンドの微分可能なレンダラを設計し,DELTAが3D監督なしでモノクロビデオから直接学習できるようにする。
最後に, これら2つの応用が, 髪, 顔, 体, 衣服を完全に切り離すことができるような, フルボディアバターのモデル化にどのように組み合わせられるかを示す。
このような絡み合いにより、髪や衣服を任意の体型に移すことができる。
デルタのジエンタングルメントの有効性を実証的に検証し,ジエンタングルドリコンストラクション,仮想衣料試着,ヘアスタイルトランスファーの有望な性能を実証した。
今後の研究を促進するため,我々は,ハイブリッドヒトアバターモデリング研究のためのオープンソースのパイプラインもリリースしている。
関連論文リスト
- DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。
本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
論文 参考訳（メタデータ） (2024-08-20T06:52:03Z) - Text-Guided Generation and Editing of Compositional 3D Avatars [59.584042376006316]
私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。
既存の方法はリアリズムを欠いているか、非現実的な形状を作り出すか、編集をサポートしていないかのいずれかである。
論文 参考訳（メタデータ） (2023-09-13T17:59:56Z) - AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars
Using 2D Diffusion [34.609403685504944]
ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。
我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。
また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
論文 参考訳（メタデータ） (2023-07-13T02:19:56Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳（メタデータ） (2022-10-04T19:34:05Z) - gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。
本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2022-01-11T18:46:38Z) - ICON: Implicit Clothed humans Obtained from Normals [49.5397825300977]
入念な機能は、髪や服などの細部をキャプチャできるので、最初のタスクに適している。
ICON は、SMPL(-X) の正常に条件付けされた詳細な布-ヒトの正常を推測する。
ICONは、Wild画像から頑丈な3D服を復元する一歩を踏み出した。
論文 参考訳（メタデータ） (2021-12-16T18:59:41Z) - The Power of Points for Modeling Humans in Clothing [60.00557674969284]
現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。
3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。
我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2021-09-02T17:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。