論文の概要: AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal
Conditioning
- arxiv url: http://arxiv.org/abs/2402.05803v1
- Date: Thu, 8 Feb 2024 16:41:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 14:01:33.076940
- Title: AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal
Conditioning
- Title(参考訳): AvatarMMC:マルチモーダルコンディショニングによる3次元アバター生成と編集
- Authors: Wamiq Reyaz Para, Abdelrahman Eldesokey, Zhenyu Li, Pradyumna Reddy,
Jiankang Deng, Peter Wonka
- Abstract要約: GANとLDMに基づく3次元頭部アバター生成・編集手法を提案する。
我々は,LDMの条件付け機能を利用して,事前学習した3D GANの潜伏空間に対するマルチモーダル制御を実現する。
RGB入力やセグメンテーションマスク,グローバル属性などの制御信号が混在した3Dヘッドアバターを生成・編集できる。
- 参考スコア(独自算出の注目度): 61.59722900152847
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce an approach for 3D head avatar generation and editing with
multi-modal conditioning based on a 3D Generative Adversarial Network (GAN) and
a Latent Diffusion Model (LDM). 3D GANs can generate high-quality head avatars
given a single or no condition. However, it is challenging to generate samples
that adhere to multiple conditions of different modalities. On the other hand,
LDMs excel at learning complex conditional distributions. To this end, we
propose to exploit the conditioning capabilities of LDMs to enable multi-modal
control over the latent space of a pre-trained 3D GAN. Our method can generate
and edit 3D head avatars given a mixture of control signals such as RGB input,
segmentation masks, and global attributes. This provides better control over
the generation and editing of synthetic avatars both globally and locally.
Experiments show that our proposed approach outperforms a solely GAN-based
approach both qualitatively and quantitatively on generation and editing tasks.
To the best of our knowledge, our approach is the first to introduce
multi-modal conditioning to 3D avatar generation and editing.
\\href{avatarmmc-sig24.github.io}{Project Page}
- Abstract(参考訳): 本稿では,3次元生成共振器ネットワーク(GAN)と遅延拡散モデル(LDM)に基づくマルチモーダルコンディショニングによる3次元頭部アバター生成と編集手法を提案する。
3D GANは、単一または無条件で高品質なヘッドアバターを生成することができる。
しかし、異なるモードの複数の条件に従うサンプルを生成することは困難である。
一方, LDMは複雑な条件分布の学習に優れる。
そこで本研究では,LDMの条件付け機能を利用して,事前学習した3D GANの潜伏空間に対するマルチモーダル制御を実現することを提案する。
本手法は,rgb入力,セグメンテーションマスク,グローバル属性などの制御信号が混在した3次元頭部アバターを生成・編集することができる。
これにより、グローバルおよびローカルの両方で合成アバターの生成と編集をより良く制御できる。
実験の結果,提案手法は,生成タスクと編集タスクの質的,定量的にのみGANベースのアプローチよりも優れていることがわかった。
私たちの知る限りでは、我々のアプローチは3dアバターの生成と編集にマルチモーダルコンディショニングを導入する最初の方法です。
\\href{avatarmmc-sig24.github.io}{Project Page}
関連論文リスト
- RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models [56.13752698926105]
ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。
我々はまず、多くのアバターに連続して三葉飛行機を取り付けたときに生じる破滅的な忘れの問題を特定する。
本研究では, より微細な階層表現を演算し, リッチな2次元テクスチャキューを捕捉し, 複数層での3次元拡散モデルに注入することにより, ポートレート画像の導出効果を最適化する。
三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著な詳細で3Dアバターを生成することができ、内蔵機器に一般化することができる。
論文 参考訳(メタデータ) (2024-07-09T15:14:45Z) - Instant 3D Human Avatar Generation using Image Diffusion Models [37.45927867788691]
AvatarPopUpは、異なる入力モードから高速で高品質な3Dアバターを生成する方法である。
われわれのアプローチでは、わずか2秒で3Dモデルを生成することができる。
論文 参考訳(メタデータ) (2024-06-11T17:47:27Z) - $E^{3}$Gen: Efficient, Expressive and Editable Avatars Generation [71.72171053129655]
本稿では,効率的な,表現的で編集可能なデジタルアバター生成のための3Dガウスモデルを提案する。
本稿では,これらの課題を効果的に解決するために,$E3$Genという新しいアバター生成手法を提案する。
提案手法は,アバター生成における優れた性能を実現し,表現力のあるフルボディポーズ制御と編集を可能にする。
論文 参考訳(メタデータ) (2024-05-29T15:43:49Z) - GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。
この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
論文 参考訳(メタデータ) (2024-04-02T17:58:35Z) - Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。
我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。
提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
論文 参考訳(メタデータ) (2024-01-09T18:59:04Z) - XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。
身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。
実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
論文 参考訳(メタデータ) (2023-11-22T18:30:42Z) - AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
論文 参考訳(メタデータ) (2023-06-16T14:18:51Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。