論文の概要: Dynamic Facial Asset and Rig Generation from a Single Scan
- arxiv url: http://arxiv.org/abs/2010.00560v2
- Date: Mon, 5 Oct 2020 20:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 08:36:50.075620
- Title: Dynamic Facial Asset and Rig Generation from a Single Scan
- Title（参考訳）: シングルスキャンによる動的顔面アセットとリグ生成
- Authors: Jiaman Li, Zhengfei Kuang, Yajie Zhao, Mingming He, Karl Bladin and
Hao Li
- Abstract要約: 高品質な動的顔アセットの自動生成のための枠組みを提案する。
筆者らのフレームワークは1つのスキャンを入力とし,2次顔成分だけでなく,個別化された混ざり合い,動的および物理的テクスチャを生成する。
- 参考スコア（独自算出の注目度）: 17.202189917030033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The creation of high-fidelity computer-generated (CG) characters used in film
and gaming requires intensive manual labor and a comprehensive set of facial
assets to be captured with complex hardware, resulting in high cost and long
production cycles. In order to simplify and accelerate this digitization
process, we propose a framework for the automatic generation of high-quality
dynamic facial assets, including rigs which can be readily deployed for artists
to polish. Our framework takes a single scan as input to generate a set of
personalized blendshapes, dynamic and physically-based textures, as well as
secondary facial components (e.g., teeth and eyeballs). Built upon a facial
database consisting of pore-level details, with over $4,000$ scans of varying
expressions and identities, we adopt a self-supervised neural network to learn
personalized blendshapes from a set of template expressions. We also model the
joint distribution between identities and expressions, enabling the inference
of the full set of personalized blendshapes with dynamic appearances from a
single neutral input scan. Our generated personalized face rig assets are
seamlessly compatible with cutting-edge industry pipelines for facial animation
and rendering. We demonstrate that our framework is robust and effective by
inferring on a wide range of novel subjects, and illustrate compelling
rendering results while animating faces with generated customized
physically-based dynamic textures.
- Abstract（参考訳）: 映画やゲームで使われるcg(high-fidelity computer generated)キャラクタの作成には、集中的な手作業と複雑なハードウェアで包括的な顔の資産が必要になるため、コストと生産サイクルが長くなる。
このデジタル化プロセスの簡素化と高速化を目的として,アーティストが容易に磨くことのできるリグを含む,高品質な動的顔資産の自動生成のためのフレームワークを提案する。
我々のフレームワークは、単一のスキャンを入力として受け取り、パーソナライズされた混ざり合い、動的、物理的にテクスチャ、および二次的な顔成分(例えば、歯や眼球)を生成する。
細孔レベルの詳細からなる顔データベース上に構築され、様々な表現やアイデンティティを4000ドル以上でスキャンし、自己教師型ニューラルネットワークを採用して、テンプレート式の集合からパーソナライズされた混ざり合いを学習する。
また、同一性と表現の結合分布をモデル化し、1つの中性入力スキャンから動的に出現するパーソナライズされた混合パターンの完全なセットを推定する。
私たちの生成したパーソナライズされたフェイスリグ資産は、顔アニメーションとレンダリングのための最先端産業パイプラインとシームレスに互換性があります。
筆者らのフレームワークは,多種多様な新しい対象を推測することにより,堅牢かつ効果的であることを示し,顔を物理的にカスタマイズした動的テクスチャでアニメーションしながら,魅力的なレンダリング結果を示す。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation [79.99551055245071]
時間的安定性を向上するエンドツーエンドパイプラインであるVividPoseを提案する。
識別対応外見制御器は、他の外見の詳細を損なうことなく、追加の顔情報を統合する。
SMPL-Xからの高密度レンダリングマップとスパーススケルトンマップの両方を利用する幾何対応のポーズコントローラ。
VividPoseは、提案したWildデータセットに優れた一般化能力を示す。
論文 参考訳（メタデータ） (2024-05-28T13:18:32Z) - ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。
前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
論文 参考訳（メタデータ） (2024-05-26T13:36:45Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳（メタデータ） (2024-04-22T00:44:13Z) - FitMe: Deep Photorealistic 3D Morphable Model Avatars [119.03325450951074]
顔の反射率モデルと異なるレンダリングパイプラインであるFitMeを紹介する。
FitMe は、単一の "in-the-wild" 顔画像に対して、最先端のリフレクタンス取得とアイデンティティ保護を実現する。
最近の暗黙のアバター再構成とは対照的に、FitMeはわずか1分で、リライト可能なメッシュとテクスチャベースのアバターを生成する。
論文 参考訳（メタデータ） (2023-05-16T17:42:45Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳（メタデータ） (2022-09-18T03:58:00Z) - Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。
本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-20T09:28:16Z) - Video-driven Neural Physically-based Facial Asset for Production [33.24654834163312]
高品質な物理的資産を持つ動的顔のジオメトリを生成するための,学習に基づく新しいビデオ駆動型アプローチを提案する。
本手法は,従来の映像駆動型顔再構成法やアニメーション法よりも精度が高く,視覚的忠実度が高い。
論文 参考訳（メタデータ） (2022-02-11T13:22:48Z) - Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。
本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
論文 参考訳（メタデータ） (2020-07-17T15:58:05Z) - CONFIG: Controllable Neural Face Image Generation [10.443563719622645]
ConfigNetは、出力画像の個々の側面を意味のある方法で制御できる、ニューラルフェイスモデルである。
提案手法では,合成データを用いて遅延空間を従来のレンダリングパイプラインの入力に対応する要素に分解する。
論文 参考訳（メタデータ） (2020-05-06T09:19:46Z) - Learning Formation of Physically-Based Face Attributes [16.55993873730069]
4000個の高分解能顔スキャンを組み合わせたデータセットに基づいて,非線形形態素顔モデルを提案する。
我々のディープラーニングに基づく生成モデルは、アルベドと幾何学の相関を学習し、生成した資産の解剖学的正確性を保証する。
論文 参考訳（メタデータ） (2020-04-02T07:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。