論文の概要: TimeWalker: Personalized Neural Space for Lifelong Head Avatars

• arxiv url: http://arxiv.org/abs/2412.02421v1
• Date: Tue, 03 Dec 2024 12:36:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:21.055772
• Title: TimeWalker: Personalized Neural Space for Lifelong Head Avatars
• Title（参考訳）: TimeWalker: 生涯のアバターのためのパーソナライズされたニューラルスペース
• Authors: Dongwei Pan, Yang Li, Hongsheng Li, Kwan-Yee Lin,
• Abstract要約: 私たちはTimeWalkerを紹介します。これは、現実的でフルスケールの3Dアバターを生涯のスケールでモデル化する新しいフレームワークです。 TimeWalkerは、さまざまなライフステージ上の非構造化データ収集から、個人の包括的アイデンティティを構築する。 そこで,TimeWalkerの非結合次元におけるアバターの再構成とアニメーションを現実的なレンダリング効果で実現した。
• 参考スコア（独自算出の注目度）: 36.390421503356606
• License:
• Abstract: We present TimeWalker, a novel framework that models realistic, full-scale 3D head avatars of a person on lifelong scale. Unlike current human head avatar pipelines that capture identity at the momentary level(e.g., instant photography or short videos), TimeWalker constructs a person's comprehensive identity from unstructured data collection over his/her various life stages, offering a paradigm to achieve full reconstruction and animation of that person at different moments of life. At the heart of TimeWalker's success is a novel neural parametric model that learns personalized representation with the disentanglement of shape, expression, and appearance across ages. Central to our methodology are the concepts of two aspects: (1) We track back to the principle of modeling a person's identity in an additive combination of average head representation in the canonical space, and moment-specific head attribute representations driven from a set of neural head basis. To learn the set of head basis that could represent the comprehensive head variations in a compact manner, we propose a Dynamic Neural Basis-Blending Module (Dynamo). It dynamically adjusts the number and blend weights of neural head bases, according to both shared and specific traits of the target person over ages. (2) Dynamic 2D Gaussian Splatting (DNA-2DGS), an extension of Gaussian splatting representation, to model head motion deformations like facial expressions without losing the realism of rendering and reconstruction. DNA-2DGS includes a set of controllable 2D oriented planar Gaussian disks that utilize the priors from parametric model, and move/rotate with the change of expression. Through extensive experimental evaluations, we show TimeWalker's ability to reconstruct and animate avatars across decoupled dimensions with realistic rendering effects, demonstrating a way to achieve personalized 'time traveling' in a breeze.
• Abstract（参考訳）: 私たちはTimeWalkerを紹介します。これは、現実的でフルスケールの3Dアバターを生涯のスケールでモデル化する新しいフレームワークです。 現在の人間の頭アバターパイプラインが瞬間レベル(例えばインスタント写真やショートビデオ)でアイデンティティをキャプチャするのとは異なり、TimeWalkerは、さまざまなライフステージ上の構造化されていないデータ収集から、その人の包括的なアイデンティティを構築し、その人の人生のさまざまな瞬間における完全な再構築とアニメーションを達成するためのパラダイムを提供する。 TimeWalkerの成功の核心は、年齢をまたいだ形状、表現、外観のゆがみによってパーソナライズされた表現を学ぶ新しいニューラルパラメトリックモデルである。 本手法の中心となるのは,(1)標準空間における平均頭部表現の付加的な組み合わせによる人物の身元モデリングの原理と,その集合から導出されるモーメント特異的頭部属性表現の2つの側面である。 頭部の包括的変動をコンパクトに表現できる頭部基底の集合を学習するために,動的ニューラルネットワーク基底ブレンディングモジュール (Dynamo) を提案する。 それは、年齢とともに対象者の共有特性と特定の特性の両方に応じて、神経ヘッドベースの数とブレンド重量を動的に調整する。 2) 動的2次元ガウススプラッティング (DNA-2DGS) は, レンダリングや再構成の現実性を失うことなく, 表情などの頭部運動の変形をモデル化する。 DNA-2DGSは、パラメトリックモデルからの先行値を利用する制御可能な2D指向の平面ガウスディスクのセットを含み、発現の変化に応じて移動/回転する。 広範にわたる実験的評価を通じて,TimeWalker のアバターの再構成とアニメーション化を現実的なレンダリング効果で実現し,パーソナライズされた「タイムトラベル」を実現する方法を示す。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
  マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:58:09Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• GANHead: Towards Generative Animatable Neural Head Avatars [31.35233032284164]
  GANHeadは、明示的な表現パラメータのきめ細かい制御の利点を生かした、新しい生成ヘッドモデルである。 粗い幾何学、細かな詳細、標準空間の3つのネットワークによるテクスチャを表現している。 ヘッドアバター生成および生スキャンフィッティングにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-04-08T07:56:21Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。