論文の概要: AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal Conditioning

• arxiv url: http://arxiv.org/abs/2402.05803v1
• Date: Thu, 8 Feb 2024 16:41:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 14:01:33.076940
• Title: AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal Conditioning
• Title（参考訳）: AvatarMMC:マルチモーダルコンディショニングによる3次元アバター生成と編集
• Authors: Wamiq Reyaz Para, Abdelrahman Eldesokey, Zhenyu Li, Pradyumna Reddy, Jiankang Deng, Peter Wonka
• Abstract要約: GANとLDMに基づく3次元頭部アバター生成・編集手法を提案する。 我々は,LDMの条件付け機能を利用して,事前学習した3D GANの潜伏空間に対するマルチモーダル制御を実現する。 RGB入力やセグメンテーションマスク,グローバル属性などの制御信号が混在した3Dヘッドアバターを生成・編集できる。
• 参考スコア（独自算出の注目度）: 61.59722900152847
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce an approach for 3D head avatar generation and editing with multi-modal conditioning based on a 3D Generative Adversarial Network (GAN) and a Latent Diffusion Model (LDM). 3D GANs can generate high-quality head avatars given a single or no condition. However, it is challenging to generate samples that adhere to multiple conditions of different modalities. On the other hand, LDMs excel at learning complex conditional distributions. To this end, we propose to exploit the conditioning capabilities of LDMs to enable multi-modal control over the latent space of a pre-trained 3D GAN. Our method can generate and edit 3D head avatars given a mixture of control signals such as RGB input, segmentation masks, and global attributes. This provides better control over the generation and editing of synthetic avatars both globally and locally. Experiments show that our proposed approach outperforms a solely GAN-based approach both qualitatively and quantitatively on generation and editing tasks. To the best of our knowledge, our approach is the first to introduce multi-modal conditioning to 3D avatar generation and editing. \\href{avatarmmc-sig24.github.io}{Project Page}
• Abstract（参考訳）: 本稿では,3次元生成共振器ネットワーク(GAN)と遅延拡散モデル(LDM)に基づくマルチモーダルコンディショニングによる3次元頭部アバター生成と編集手法を提案する。 3D GANは、単一または無条件で高品質なヘッドアバターを生成することができる。 しかし、異なるモードの複数の条件に従うサンプルを生成することは困難である。 一方, LDMは複雑な条件分布の学習に優れる。 そこで本研究では,LDMの条件付け機能を利用して,事前学習した3D GANの潜伏空間に対するマルチモーダル制御を実現することを提案する。 本手法は,rgb入力,セグメンテーションマスク,グローバル属性などの制御信号が混在した3次元頭部アバターを生成・編集することができる。 これにより、グローバルおよびローカルの両方で合成アバターの生成と編集をより良く制御できる。 実験の結果,提案手法は,生成タスクと編集タスクの質的,定量的にのみGANベースのアプローチよりも優れていることがわかった。 私たちの知る限りでは、我々のアプローチは3dアバターの生成と編集にマルチモーダルコンディショニングを導入する最初の方法です。 \\href{avatarmmc-sig24.github.io}{Project Page}

関連論文リスト

• Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance [69.9745497000557]
  本稿では,人間の顔の基盤モデルを用いた最初のSDSベースの手法であるArc2Avatarについて述べる。 我々のアバターは人間の顔メッシュテンプレートとの密接な対応を維持しており、ブレンドシェープによる表現生成を可能にしている。
  論文  参考訳（メタデータ） (2025-01-09T17:04:33Z)
• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• Instant 3D Human Avatar Generation using Image Diffusion Models [37.45927867788691]
  AvatarPopUpは、異なる入力モードから高速で高品質な3Dアバターを生成する方法である。 われわれのアプローチでは、わずか2秒で3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2024-06-11T17:47:27Z)
• GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
  本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。 この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
  論文  参考訳（メタデータ） (2024-04-02T17:58:35Z)
• Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
  我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。 我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。 提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
  論文  参考訳（メタデータ） (2024-01-09T18:59:04Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。