論文の概要: One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation
- arxiv url: http://arxiv.org/abs/2402.11909v1
- Date: Mon, 19 Feb 2024 07:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:37:13.433025
- Title: One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation
- Title（参考訳）: One2Avatar: ユーザ適応のための生成的インシシデントヘッドアバター
- Authors: Zhixuan Yu, Ziqian Bai, Abhimitra Meka, Feitong Tan, Qiangeng Xu,
Rohit Pandey, Sean Fanello, Hyun Soo Park and Yinda Zhang
- Abstract要約: 本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。
我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。
提案手法は,従来のアバター適応手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 31.310769289315648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional methods for constructing high-quality, personalized head avatars
from monocular videos demand extensive face captures and training time, posing
a significant challenge for scalability. This paper introduces a novel approach
to create high quality head avatar utilizing only a single or a few images per
user. We learn a generative model for 3D animatable photo-realistic head avatar
from a multi-view dataset of expressions from 2407 subjects, and leverage it as
a prior for creating personalized avatar from few-shot images. Different from
previous 3D-aware face generative models, our prior is built with a
3DMM-anchored neural radiance field backbone, which we show to be more
effective for avatar creation through auto-decoding based on few-shot inputs.
We also handle unstable 3DMM fitting by jointly optimizing the 3DMM fitting and
camera calibration that leads to better few-shot adaptation. Our method
demonstrates compelling results and outperforms existing state-of-the-art
methods for few-shot avatar adaptation, paving the way for more efficient and
personalized avatar creation.
- Abstract（参考訳）: モノクロビデオから高品質でパーソナライズされたヘッドアバターを構築する従来の方法は、顔のキャプチャとトレーニング時間を必要とする。
本稿では,1ユーザあたり1枚ないし数枚の画像のみを利用した高品質なアバター作成手法を提案する。
我々は,2407人の表情の多視点データセットから,3次元の写実的頭部アバター生成モデルを学び,それを,少数の写真からパーソナライズされたアバターを作成するための前段階として活用する。
従来の3D認識顔生成モデルとは違って,前者は3DMMで合成した神経放射野のバックボーンで構築した。
また、不安定な3DMMフィッティングを3DMMフィッティングとカメラキャリブレーションを共同で最適化することで、より優れた数ショット適応を実現する。
提案手法は, より効率的かつパーソナライズされたアバター作成を実現するため, 従来のアバター適応手法よりも優れていることを示す。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。
LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
論文 参考訳（メタデータ） (2024-09-26T17:00:02Z) - Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。
パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。
最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
論文 参考訳（メタデータ） (2024-09-23T00:11:30Z) - RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models [56.13752698926105]
ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。
我々はまず、多くのアバターに連続して三葉飛行機を取り付けたときに生じる破滅的な忘れの問題を特定する。
本研究では, より微細な階層表現を演算し, リッチな2次元テクスチャキューを捕捉し, 複数層での3次元拡散モデルに注入することにより, ポートレート画像の導出効果を最適化する。
三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著な詳細で3Dアバターを生成することができ、内蔵機器に一般化することができる。
論文 参考訳（メタデータ） (2024-07-09T15:14:45Z) - GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。
この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
論文 参考訳（メタデータ） (2024-04-02T17:58:35Z) - AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。
我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。
本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
論文 参考訳（メタデータ） (2023-06-16T14:18:51Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳（メタデータ） (2023-04-03T12:11:51Z) - OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane
Rendering [81.55960827071661]
制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。
汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
論文 参考訳（メタデータ） (2023-03-26T09:12:03Z) - AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging [12.535634029277212]
高品質な3Dアバターを作成するための,新しい自己教師型学習フレームワークを提案する。
その結果,従来の作業よりもはるかに高い選好スコアが得られ,手作業による作成に近い結果が得られた。
論文 参考訳（メタデータ） (2022-11-15T00:43:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。