論文の概要: MetaHead: An Engine to Create Realistic Digital Head
- arxiv url: http://arxiv.org/abs/2304.00838v1
- Date: Mon, 3 Apr 2023 09:29:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:58:31.212985
- Title: MetaHead: An Engine to Create Realistic Digital Head
- Title(参考訳): MetaHead: リアルなデジタルヘッドを作るためのエンジン
- Authors: Dingyun Zhang, Chenglai Zhong, Yudong Guo, Yang Hong, Juyong Zhang
- Abstract要約: 本稿では,3次元デジタルヘッドを超現実的に生成または再構成する制御可能なデジタルヘッドエンジンであるMetaHeadを提案する。
制御可能なディジタルヘッドエンジンが、最先端の視覚的品質と再現精度を達成することを実証した。
- 参考スコア(独自算出の注目度): 25.68417386839701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collecting and labeling training data is one important step for
learning-based methods because the process is time-consuming and biased. For
face analysis tasks, although some generative models can be used to generate
face data, they can only achieve a subset of generation diversity,
reconstruction accuracy, 3D consistency, high-fidelity visual quality, and easy
editability. One recent related work is the graphics-based generative method,
but it can only render low realism head with high computation cost. In this
paper, we propose MetaHead, a unified and full-featured controllable digital
head engine, which consists of a controllable head radiance field(MetaHead-F)
to super-realistically generate or reconstruct view-consistent 3D controllable
digital heads and a generic top-down image generation framework LabelHead to
generate digital heads consistent with the given customizable feature labels.
Experiments validate that our controllable digital head engine achieves the
state-of-the-art generation visual quality and reconstruction accuracy.
Moreover, the generated labeled data can assist real training data and
significantly surpass the labeled data generated by graphics-based methods in
terms of training effect.
- Abstract(参考訳): トレーニングデータの収集とラベル付けは、学習ベースの手法にとって重要なステップである。
顔分析タスクでは、顔データを生成するためにいくつかの生成モデルを使用することができるが、生成の多様性、再現精度、立体整合性、高忠実度視覚的品質、編集容易性のサブセットしか達成できない。
近年、グラフィックベースの生成手法が研究されているが、計算コストの高い低リアリズムヘッドしかレンダリングできない。
本稿では,制御可能な頭部放射場(metahead-f)と,表示に一貫性のある3d制御可能なデジタルヘッドと,所定のカスタマイズ可能な特徴ラベルに準拠したデジタルヘッドを生成する汎用的トップダウン画像生成フレームワーク labelheadとからなる,統一的でフル機能の制御可能なデジタルヘッドエンジンであるmetaheadを提案する。
制御可能なディジタルヘッドエンジンは、最先端の視覚的品質と再現精度を実現する。
さらに、生成されたラベル付きデータは、実際のトレーニングデータを支援し、トレーニング効果の観点からグラフィックベースの手法によって生成されたラベル付きデータを著しく上回ることができる。
関連論文リスト
- ScanTalk: 3D Talking Heads from Unregistered Scans [13.003073077799835]
ScanTalkは、スキャンされたデータを含む任意のトポロジで3D顔をアニメーションできるフレームワークである。
我々のアプローチは、固定トポロジ制約を克服するために、DiffusionNetアーキテクチャに依存しています。
結果を再生成するためのコードと、事前トレーニングされたモデルが利用可能になります。
論文 参考訳(メタデータ) (2024-03-16T14:58:58Z) - HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation [95.58892028614444]
本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。
従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。
実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
論文 参考訳(メタデータ) (2023-12-12T18:59:25Z) - Advancing Zero-Shot Digital Human Quality Assessment through
Text-Prompted Evaluation [60.873105678086404]
SJTU-H3Dは、フルボディのデジタル人間向けに設計された主観的品質評価データベースである。
高品質なデジタル人間40人と、7種類の歪みで生成された1,120個のラベル付き歪曲した人物からなる。
論文 参考訳(メタデータ) (2023-07-06T06:55:30Z) - Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。
マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。
本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
論文 参考訳(メタデータ) (2023-03-28T11:12:26Z) - Controllable 3D Generative Adversarial Face Model via Disentangling
Shape and Appearance [63.13801759915835]
3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。
本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
論文 参考訳(メタデータ) (2022-08-30T13:40:48Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳(メタデータ) (2020-12-16T20:02:36Z) - Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。
特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
論文 参考訳(メタデータ) (2020-06-21T10:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。