論文の概要: One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation
- arxiv url: http://arxiv.org/abs/2402.11909v1
- Date: Mon, 19 Feb 2024 07:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:37:13.433025
- Title: One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation
- Title(参考訳): One2Avatar: ユーザ適応のための生成的インシシデントヘッドアバター
- Authors: Zhixuan Yu, Ziqian Bai, Abhimitra Meka, Feitong Tan, Qiangeng Xu,
Rohit Pandey, Sean Fanello, Hyun Soo Park and Yinda Zhang
- Abstract要約: 本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。
我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。
提案手法は,従来のアバター適応手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 31.310769289315648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional methods for constructing high-quality, personalized head avatars
from monocular videos demand extensive face captures and training time, posing
a significant challenge for scalability. This paper introduces a novel approach
to create high quality head avatar utilizing only a single or a few images per
user. We learn a generative model for 3D animatable photo-realistic head avatar
from a multi-view dataset of expressions from 2407 subjects, and leverage it as
a prior for creating personalized avatar from few-shot images. Different from
previous 3D-aware face generative models, our prior is built with a
3DMM-anchored neural radiance field backbone, which we show to be more
effective for avatar creation through auto-decoding based on few-shot inputs.
We also handle unstable 3DMM fitting by jointly optimizing the 3DMM fitting and
camera calibration that leads to better few-shot adaptation. Our method
demonstrates compelling results and outperforms existing state-of-the-art
methods for few-shot avatar adaptation, paving the way for more efficient and
personalized avatar creation.
- Abstract(参考訳): モノクロビデオから高品質でパーソナライズされたヘッドアバターを構築する従来の方法は、顔のキャプチャとトレーニング時間を必要とする。
本稿では,1ユーザあたり1枚ないし数枚の画像のみを利用した高品質なアバター作成手法を提案する。
我々は,2407人の表情の多視点データセットから,3次元の写実的頭部アバター生成モデルを学び,それを,少数の写真からパーソナライズされたアバターを作成するための前段階として活用する。
従来の3D認識顔生成モデルとは違って,前者は3DMMで合成した神経放射野のバックボーンで構築した。
また、不安定な3DMMフィッティングを3DMMフィッティングとカメラキャリブレーションを共同で最適化することで、より優れた数ショット適応を実現する。
提案手法は, より効率的かつパーソナライズされたアバター作成を実現するため, 従来のアバター適応手法よりも優れていることを示す。
関連論文リスト
- AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。
調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
論文 参考訳(メタデータ) (2023-11-29T18:59:32Z) - AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
論文 参考訳(メタデータ) (2023-06-16T14:18:51Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-14T22:33:09Z) - HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。
まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。
テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-06-05T16:53:58Z) - AvatarStudio: Text-driven Editing of 3D Dynamic Human Head Avatars [84.85009267371218]
本研究では,動的なフルヘッドアバターの外観を編集するテキストベースのAvatarStudioを提案する。
提案手法は,ニューラルフィールド(NeRF)を用いて人間の頭部のダイナミックなパフォーマンスを捉え,テキスト・ツー・イメージ拡散モデルを用いてこの表現を編集する。
提案手法は,全頭部を標準空間で編集し,事前学習した変形ネットワークを介して残時間ステップに伝達する。
論文 参考訳(メタデータ) (2023-06-01T11:06:01Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z) - OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane
Rendering [81.55960827071661]
制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。
汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
論文 参考訳(メタデータ) (2023-03-26T09:12:03Z) - AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural
Voxels [33.085274792188756]
動作認識型ニューラルボクセルを用いた高速な3次元頭部アバター再構成法であるAvatarMAVを提案する。
アバターMAVは、頭アバターの神経ボクセルによる標準的外観と解離した表情運動の両方をモデル化した最初のものである。
提案したAvatarMAVは、最先端の顔再現法よりもはるかに高速な5分で、フォトリアリスティックな頭部アバターを回収することができる。
論文 参考訳(メタデータ) (2022-11-23T18:49:31Z) - AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging [12.535634029277212]
高品質な3Dアバターを作成するための,新しい自己教師型学習フレームワークを提案する。
その結果,従来の作業よりもはるかに高い選好スコアが得られ,手作業による作成に近い結果が得られた。
論文 参考訳(メタデータ) (2022-11-15T00:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。