論文の概要: High-Fidelity 3D Facial Avatar Synthesis with Controllable Fine-Grained Expressions

• arxiv url: http://arxiv.org/abs/2603.14781v1
• Date: Mon, 16 Mar 2026 03:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.029474
• Title: High-Fidelity 3D Facial Avatar Synthesis with Controllable Fine-Grained Expressions
• Title（参考訳）: 制御可能な微粒化表現を用いた高忠実度3次元顔アバター合成
• Authors: Yikang He, Jichao Zhang, Wei Wang, Nicu Sebe, Yao Zhao,
• Abstract要約: 本稿では,テクスチャ編集のための事前学習型3D-Aware GANモデルの潜在コードとメッシュ編集のための駆動型3DMMモデルの表現コードの両方を同時に精製して,新しいアプローチを提案する。 デュアルマッパーを最適化するために,CLIPをベースとした目的関数をターゲットとするテキスト誘導最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 83.73866089033585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial expression editing methods can be mainly categorized into two types based on their architectures: 2D-based and 3D-based methods. The former lacks 3D face modeling capabilities, making it difficult to edit 3D factors effectively. The latter has demonstrated superior performance in generating high-quality and view-consistent renderings using single-view 2D face images. Although these methods have successfully used animatable models to control facial expressions, they still have limitations in achieving precise control over fine-grained expressions. To address this issue, in this paper, we propose a novel approach by simultaneously refining both the latent code of a pretrained 3D-Aware GAN model for texture editing and the expression code of the driven 3DMM model for mesh editing. Specifically, we introduce a Dual Mappers module, comprising Texture Mapper and Emotion Mapper, to learn the transformations of the given latent code for textures and the expression code for meshes, respectively. To optimize the Dual Mappers, we propose a Text-Guided Optimization method, leveraging a CLIP-based objective function with expression text prompts as targets, while integrating a SubSpace Projection mechanism to project the text embedding to the expression subspace such that we can have more precise control over fine-grained expressions. Extensive experiments and comparative analyses demonstrate the effectiveness and superiority of our proposed method.
• Abstract（参考訳）: 表情編集法は主に2Dベースと3Dベースの2種類に分類される。 前者は3Dの顔モデリング機能がなく、3Dの要素を効果的に編集することが難しい。 後者は、シングルビューの2D顔画像を用いた高品質かつビュー一貫性のあるレンダリングを生成する上で、優れた性能を示している。 これらの手法は, 顔表情の制御にアニマタブルモデルを用いたが, きめ細かい表現の正確な制御には限界がある。 本稿では,テクスチャ編集のための事前学習された3D-Aware GANモデルの潜在コードと,メッシュ編集のための駆動型3DMMモデルの表現コードの両方を同時に精製して,新しいアプローチを提案する。 具体的には、テクスチャの潜在コードとメッシュの式コードの変換を学ぶために、Texture MapperとEmotion Mapperで構成されるデュアルマッパーモジュールを導入する。 本稿では,CLIPをベースとした目的関数と表現文プロンプトを対象とするテキストガイド最適化手法を提案するとともに,表現部分空間に埋め込まれたテキストを投影するSubSpace Projection機構を統合することにより,より精密な表現制御を実現する。 提案手法の有効性と優位性を示す実験と比較分析を行った。

関連論文リスト

• A Controllable 3D Deepfake Generation Framework with Gaussian Splatting [6.969908558294805]
  本稿では,3次元ガウススプラッティングに基づく新しい3次元ディープフェイク生成フレームワークを提案する。 完全に制御可能な3D空間において、現実的でアイデンティティを保った顔スワッピングと再現を可能にする。 提案手法は3次元モデリングとディープフェイク合成のギャップを埋め、シーン認識、制御可能、没入型視覚的偽造の新しい方向を可能にする。
  論文  参考訳（メタデータ） (2025-09-15T06:34:17Z)
• Revealing Directions for Text-guided 3D Face Editing [52.85632020601518]
  3次元顔編集はマルチメディアにおいて重要な課題であり、様々な制御信号間での3次元顔モデルの操作を目的としている。 任意の属性記述に基づく3次元顔の生成と操作のためのテキスト汎用アプローチであるFace Clanを提案する。 本手法は,ユーザがテキスト記述で興味のある領域を直感的にカスタマイズできる,正確に制御可能な操作方法を提供する。
  論文  参考訳（メタデータ） (2024-10-07T12:04:39Z)
• Controllable 3D Face Generation with Conditional Style Code Diffusion [51.24656496304069]
  TEx-Face(TExt & Expression-to-Face)は、タスクを3D GANインバージョン、条件付きスタイルコード拡散、3D Face Decodingという3つのコンポーネントに分割することで、課題に対処する。 FFHQ、CelebA-HQ、CelebA-Dialogで実施された実験は、我々のTEx-Faceの有望なパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2023-12-21T15:32:49Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis [38.517819699560945]
  システムを構成する3つの主要なコンポーネントは,(1)図形に一貫性のある,不整合な顔画像とセマンティックマスクを生成する3次元セマンティック認識生成モデル,(2)意味的およびテクスチャエンコーダから潜伏符号を初期化し,さらに忠実な再構築のために最適化するハイブリッドGANインバージョンアプローチ,(3)カノニカルビューにおけるセマンティックマスクの効率的な操作を可能にするカノニカルエディタ,の3つである。
  論文  参考訳（メタデータ） (2022-05-31T03:35:44Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。