論文の概要: MetaHead: An Engine to Create Realistic Digital Head

• arxiv url: http://arxiv.org/abs/2304.00838v1
• Date: Mon, 3 Apr 2023 09:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 15:58:31.212985
• Title: MetaHead: An Engine to Create Realistic Digital Head
• Title（参考訳）: MetaHead: リアルなデジタルヘッドを作るためのエンジン
• Authors: Dingyun Zhang, Chenglai Zhong, Yudong Guo, Yang Hong, Juyong Zhang
• Abstract要約: 本稿では,3次元デジタルヘッドを超現実的に生成または再構成する制御可能なデジタルヘッドエンジンであるMetaHeadを提案する。 制御可能なディジタルヘッドエンジンが、最先端の視覚的品質と再現精度を達成することを実証した。
• 参考スコア（独自算出の注目度）: 25.68417386839701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collecting and labeling training data is one important step for learning-based methods because the process is time-consuming and biased. For face analysis tasks, although some generative models can be used to generate face data, they can only achieve a subset of generation diversity, reconstruction accuracy, 3D consistency, high-fidelity visual quality, and easy editability. One recent related work is the graphics-based generative method, but it can only render low realism head with high computation cost. In this paper, we propose MetaHead, a unified and full-featured controllable digital head engine, which consists of a controllable head radiance field(MetaHead-F) to super-realistically generate or reconstruct view-consistent 3D controllable digital heads and a generic top-down image generation framework LabelHead to generate digital heads consistent with the given customizable feature labels. Experiments validate that our controllable digital head engine achieves the state-of-the-art generation visual quality and reconstruction accuracy. Moreover, the generated labeled data can assist real training data and significantly surpass the labeled data generated by graphics-based methods in terms of training effect.
• Abstract（参考訳）: トレーニングデータの収集とラベル付けは、学習ベースの手法にとって重要なステップである。 顔分析タスクでは、顔データを生成するためにいくつかの生成モデルを使用することができるが、生成の多様性、再現精度、立体整合性、高忠実度視覚的品質、編集容易性のサブセットしか達成できない。 近年、グラフィックベースの生成手法が研究されているが、計算コストの高い低リアリズムヘッドしかレンダリングできない。 本稿では,制御可能な頭部放射場(metahead-f)と,表示に一貫性のある3d制御可能なデジタルヘッドと,所定のカスタマイズ可能な特徴ラベルに準拠したデジタルヘッドを生成する汎用的トップダウン画像生成フレームワーク labelheadとからなる,統一的でフル機能の制御可能なデジタルヘッドエンジンであるmetaheadを提案する。 制御可能なディジタルヘッドエンジンは、最先端の視覚的品質と再現精度を実現する。 さらに、生成されたラベル付きデータは、実際のトレーニングデータを支援し、トレーニング効果の観点からグラフィックベースの手法によって生成されたラベル付きデータを著しく上回ることができる。

関連論文リスト

• 3D-VirtFusion: Synthetic 3D Data Augmentation through Generative Diffusion Models and Controllable Editing [52.68314936128752]
  本研究では,事前学習された大規模基盤モデルのパワーを活用して,3次元ラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 各ターゲットセマンティッククラスに対して、まず、拡散モデルとチャットGPT生成したテキストプロンプトを介して、様々な構造と外観の1つのオブジェクトの2D画像を生成する。 我々は、これらの拡張画像を3Dオブジェクトに変換し、ランダムな合成によって仮想シーンを構築する。
  論文  参考訳（メタデータ） (2024-08-25T09:31:22Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• Enhancing 2D Representation Learning with a 3D Prior [21.523007105586217]
  視覚データの堅牢で効果的な表現を学習することは、コンピュータビジョンの基本的な課題である。 従来、これはラベル付きデータによるトレーニングモデルによって達成される。 本稿では,3次元構造を明示的に強制することで,既存の自己管理手法を強化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T17:55:22Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation [95.58892028614444]
  本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。 従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。 実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:25Z)
• Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
  現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。 マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。 本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
  論文  参考訳（メタデータ） (2023-03-28T11:12:26Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Methodology for Building Synthetic Datasets with Virtual Humans [1.5556923898855324]
  大規模なデータセットは、ディープニューラルネットワークの改善、ターゲットトレーニングに使用することができる。 特に,100の合成IDからなるデータセットにまたがる複数の2次元画像のレンダリングに3次元形態素顔モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-21T10:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。