論文の概要: Democratizing the Creation of Animatable Facial Avatars

• arxiv url: http://arxiv.org/abs/2401.16534v1
• Date: Mon, 29 Jan 2024 20:14:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 17:18:01.987123
• Title: Democratizing the Creation of Animatable Facial Avatars
• Title（参考訳）: アニマタブル・ファシアル・アバターの創造の民主化
• Authors: Yilin Zhu, Dalton Omens, Haodi He, Ron Fedkiw
• Abstract要約: 光ステージやハイエンドハードウェアを使わずに幾何学やテクスチャを得るための新しいパイプラインを提案する。 キーとなる新しいアイデアは、テンプレートアバターの幾何学と整合するように現実世界の画像を歪めることである。 提案手法は,中性表現幾何学とデライトテクスチャを得るだけでなく,アニメーションシステムにインポートされたアバターの改良にも利用することができる。
• 参考スコア（独自算出の注目度）: 2.1740466069378597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In high-end visual effects pipelines, a customized (and expensive) light stage system is (typically) used to scan an actor in order to acquire both geometry and texture for various expressions. Aiming towards democratization, we propose a novel pipeline for obtaining geometry and texture as well as enough expression information to build a customized person-specific animation rig without using a light stage or any other high-end hardware (or manual cleanup). A key novel idea consists of warping real-world images to align with the geometry of a template avatar and subsequently projecting the warped image into the template avatar's texture; importantly, this allows us to leverage baked-in real-world lighting/texture information in order to create surrogate facial features (and bridge the domain gap) for the sake of geometry reconstruction. Not only can our method be used to obtain a neutral expression geometry and de-lit texture, but it can also be used to improve avatars after they have been imported into an animation system (noting that such imports tend to be lossy, while also hallucinating various features). Since a default animation rig will contain template expressions that do not correctly correspond to those of a particular individual, we use a Simon Says approach to capture various expressions and build a person-specific animation rig (that moves like they do). Our aforementioned warping/projection method has high enough efficacy to reconstruct geometry corresponding to each expressions.
• Abstract（参考訳）: ハイエンドの視覚効果パイプラインでは、様々な表現の幾何学とテクスチャを取得するために、アクターをスキャンするためにカスタマイズされた(そして高価な)ライトステージシステムを使用する。 民主化を目指して,光ステージや他のハイエンドハードウェア(あるいは手作業によるクリーンアップ)を使わずに,幾何学やテクスチャの獲得と,カスタマイズした人固有のアニメーションリグを構築するための十分な表現情報を得るパイプラインを提案する。 テンプレートアバターの形状に整合した実世界の画像をワープし、その後、歪んだ画像をテンプレートアバターのテクスチャに投影することで、実世界の照明・テクスチャ情報を活用することで、幾何再構成のためのサロゲート顔の特徴(およびドメインギャップのブリッジ)を作成することができる。 提案手法は,中性表現幾何学とデライトテクスチャを得るだけでなく,アニメーションシステムにインポートされたアバターを改良するためにも利用できる(このようなインポートは失われやすいが,様々な特徴を幻覚させる傾向がある)。 デフォルトのアニメーションリグには、特定の個人と正しく一致しないテンプレート式が含まれているため、さまざまな表現をキャプチャし、人固有のアニメーションリグを構築するためにSimon Saysアプローチを使用します。 上述のワープ・プロジェクション法は,各表現に対応する幾何を再構成するのに十分な有効性を有する。

関連論文リスト

• TexVocab: Texture Vocabulary-conditioned Human Avatars [42.170169762733835]
  TexVocabは、テクスチャ語彙を構築し、ボディポーズをアニメーション用のテクスチャマップに関連付ける新しいアバター表現である。 提案手法は,RGBビデオから詳細な動的外見を持つアニマタブルなヒトアバターを作成できる。
  論文  参考訳（メタデータ） (2024-03-31T01:58:04Z)
• SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance [37.85026590250023]
  テキストから光リアルな3Dアバターを生成する方法であるSEEAvatarを提案する。 幾何学において、最適化されたアバターをテンプレートアバターで適切に大域的に制限することを提案する。 外観生成には、プロンプトエンジニアリングによって強化された拡散モデルを用いて物理ベースのレンダリングパイプラインを誘導する。
  論文  参考訳（メタデータ） (2023-12-13T14:48:35Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• AvatarReX: Real-time Expressive Full-body Avatars [35.09470037950997]
  ビデオデータからNeRFに基づくフルボディアバターを学習するための新しい手法であるAvatarReXを提案する。 学習されたアバターは、身体、手、顔の表現力のある制御を提供するだけでなく、リアルタイムのアニメーションやレンダリングもサポートする。
  論文  参考訳（メタデータ） (2023-05-08T15:43:00Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• AniPixel: Towards Animatable Pixel-Aligned Human Avatar [65.7175527782209]
  AniPixelは、アニマタブルで一般化可能なヒトアバター再構成法である。 本研究では, 骨格変形に基づく神経スキンフィールドを提案し, 標的-カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カ 実験では、AniPixelは最先端の手法よりも優れた新しいポーズのアニメーション結果を提供しながら、同等の斬新なビューをレンダリングしている。
  論文  参考訳（メタデータ） (2023-02-07T11:04:14Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。