論文の概要: SelfieAvatar: Real-time Head Avatar reenactment from a Selfie Video
- arxiv url: http://arxiv.org/abs/2601.18851v1
- Date: Mon, 26 Jan 2026 14:26:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-28 15:26:51.014028
- Title: SelfieAvatar: Real-time Head Avatar reenactment from a Selfie Video
- Title（参考訳）: Selfie Avatar: 自撮りビデオのリアルタイムアバター再現
- Authors: Wei Liang, Hui Yu, Derui Ding, Rachael E. Jack, Philippe G. Schyns,
- Abstract要約: 本研究では,自撮りビデオを用いた頭部アバター再現法を提案する。
前景復元とアバター画像生成のための混合損失関数を組み込んだ詳細な再構成モデルを提案する。
- 参考スコア（独自算出の注目度）: 8.770698303337428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Head avatar reenactment focuses on creating animatable personal avatars from monocular videos, serving as a foundational element for applications like social signal understanding, gaming, human-machine interaction, and computer vision. Recent advances in 3D Morphable Model (3DMM)-based facial reconstruction methods have achieved remarkable high-fidelity face estimation. However, on the one hand, they struggle to capture the entire head, including non-facial regions and background details in real time, which is an essential aspect for producing realistic, high-fidelity head avatars. On the other hand, recent approaches leveraging generative adversarial networks (GANs) for head avatar generation from videos can achieve high-quality reenactments but encounter limitations in reproducing fine-grained head details, such as wrinkles and hair textures. In addition, existing methods generally rely on a large amount of training data, and rarely focus on using only a simple selfie video to achieve avatar reenactment. To address these challenges, this study introduces a method for detailed head avatar reenactment using a selfie video. The approach combines 3DMMs with a StyleGAN-based generator. A detailed reconstruction model is proposed, incorporating mixed loss functions for foreground reconstruction and avatar image generation during adversarial training to recover high-frequency details. Qualitative and quantitative evaluations on self-reenactment and cross-reenactment tasks demonstrate that the proposed method achieves superior head avatar reconstruction with rich and intricate textures compared to existing approaches.
- Abstract（参考訳）: ヘッドアバターの再現は、単眼ビデオからアニマタブルなパーソナルアバターを作成することに焦点を当てており、社会的信号理解、ゲーム、人間と機械の相互作用、コンピュータビジョンといった応用の基盤となる。
近年, 3次元形態素モデル(3DMM)に基づく顔再構成法が進歩し, 高忠実度顔推定が可能となった。
しかし一方では、顔以外の領域や背景など、頭部全体をリアルタイムで捉えるのに苦労しており、これは現実的な高忠実な頭部アバターを作るのに欠かせない側面である。
一方,映像からの頭部アバター生成にGAN(Generative Adversarial Network)を活用する手法は,高品質な再現が可能であるが,シワやヘアテクスチャなどの微細な頭部の細部を再現する際の限界に遭遇する。
加えて、既存の手法は一般に大量のトレーニングデータに依存しており、アバターの再現を実現するために単純な自撮り動画のみを使うことに集中することは滅多にない。
これらの課題に対処するために,自撮りビデオを用いた頭部アバター再現法を提案する。
このアプローチは、3DMMとStyleGANベースのジェネレータを組み合わせる。
前景復元とアバター画像生成のための混合損失関数を交互に組み込んだ詳細な再構成モデルを提案する。
自己再現性および横断的再現性タスクの質的,定量的評価により,提案手法は従来の手法と比較して,豊かで複雑なテクスチャで優れた頭部アバター再構成を実現することを示す。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。
本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
論文 参考訳（メタデータ） (2024-05-25T12:33:40Z) - One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。
我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。
提案手法は,従来のアバター適応手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-19T07:48:29Z) - GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。
提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
論文 参考訳（メタデータ） (2024-01-18T18:56:34Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。
まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。
テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
論文 参考訳（メタデータ） (2023-06-05T16:53:58Z) - High-fidelity Facial Avatar Reconstruction from Monocular Video with
Generative Priors [29.293166730794606]
そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。
既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
論文 参考訳（メタデータ） (2022-11-28T04:49:46Z) - Head2HeadFS: Video-based Head Reenactment with Few-shot Learning [64.46913473391274]
ヘッド再アクティベーションは、ヘッドポーズ全体をソースの人からターゲットに転送することを目的とした挑戦的なタスクです。
頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。
当社のビデオベースのレンダリングネットワークは、ほんの数サンプルを使用して、数ショットの学習戦略の下で微調整されます。
論文 参考訳（メタデータ） (2021-03-30T10:19:41Z) - Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文 参考訳（メタデータ） (2020-06-17T23:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。