論文の概要: FaceCraft4D: Animated 3D Facial Avatar Generation from a Single Image

• arxiv url: http://arxiv.org/abs/2504.15179v1
• Date: Mon, 21 Apr 2025 15:40:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 16:06:26.72946
• Title: FaceCraft4D: Animated 3D Facial Avatar Generation from a Single Image
• Title（参考訳）: FaceCraft4D:1枚の画像から3D顔アバターを制作
• Authors: Fei Yin, Mallikarjun B R, Chun-Han Yao, Rafał Mantiuk, Varun Jampani,
• Abstract要約: 1枚の画像から高品質でアニマタブルな4Dアバターを生成するための新しいフレームワークを提案する。 本手法は,様々な視点や表現の整合性を維持しつつ,先行技術よりも優れた品質を実現する。
• 参考スコア（独自算出の注目度）: 41.598551483524666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel framework for generating high-quality, animatable 4D avatar from a single image. While recent advances have shown promising results in 4D avatar creation, existing methods either require extensive multiview data or struggle with shape accuracy and identity consistency. To address these limitations, we propose a comprehensive system that leverages shape, image, and video priors to create full-view, animatable avatars. Our approach first obtains initial coarse shape through 3D-GAN inversion. Then, it enhances multiview textures using depth-guided warping signals for cross-view consistency with the help of the image diffusion model. To handle expression animation, we incorporate a video prior with synchronized driving signals across viewpoints. We further introduce a Consistent-Inconsistent training to effectively handle data inconsistencies during 4D reconstruction. Experimental results demonstrate that our method achieves superior quality compared to the prior art, while maintaining consistency across different viewpoints and expressions.
• Abstract（参考訳）: 1枚の画像から高品質でアニマタブルな4Dアバターを生成するための新しいフレームワークを提案する。 近年の進歩は、4Dアバターの作成において有望な結果を示しているが、既存の手法では広範なマルチビューデータを必要とするか、形状精度とアイデンティティの整合性に苦慮している。 これらの制約に対処するために、形状、画像、ビデオの先行情報を活用して、フルビューでアニマタブルなアバターを作成する包括的システムを提案する。 提案手法はまず3D-GANインバージョンを用いて初期粗い形状を求める。 そして、画像拡散モデルの助けを借りて、奥行き誘導整合性のためのワープ信号を用いたマルチビューテクスチャを強化する。 表現アニメーションの処理には、視点をまたいだ同期駆動信号に先立って動画を組み込む。 さらに,4次元再構成時にデータ不整合を効果的に処理するための一貫性-一貫性トレーニングを導入する。 実験結果から,本手法は,異なる視点や表現の整合性を維持しつつ,先行技術よりも優れた品質を実現することが示された。

関連論文リスト

• Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
  Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。 我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。 結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-03-26T17:59:44Z)
• Bringing Objects to Life: 4D generation from 3D objects [31.533802484121182]
  ユーザが提供する3Dオブジェクトをテキストプロンプトに条件付けしてアニメーション化して4D生成を誘導する手法を提案する。 本手法はLPIPSスコアを用いた個人認証の3倍の精度向上を実現する。
  論文  参考訳（メタデータ） (2024-12-29T10:12:01Z)
• AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction [26.82525451095629]
  本稿では,不整合画像の3次元再構成のためのロバストな手法を提案し,推論中のリアルタイムレンダリングを実現する。 再建問題を4次元課題として再検討し, 4次元ガウススプラッティングを用いた効率的な3次元モデリング手法を提案する。 実験により,本手法は3次元人体アバターの光実写・リアルタイムアニメーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:55:39Z)
• DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses [57.17501809717155]
  本研究では,骨格ポーズシーケンスのみを条件入力として,人間のイメージをアニメーションする新しい手法であるDreamDanceを提案する。 私たちの重要な洞察は、人間の画像は自然に複数のレベルの相関を示すということです。 我々は5Kの高品質なダンスビデオと詳細なフレームアノテーションを組み合わせたTikTok-Dance5Kデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-30T08:42:13Z)
• EG4D: Explicit Generation of 4D Object without Score Distillation [105.63506584772331]
  DG4Dは、スコア蒸留なしで高品質で一貫した4Dアセットを生成する新しいフレームワークである。 私たちのフレームワークは、世代品質のベースラインをかなりのマージンで上回ります。
  論文  参考訳（メタデータ） (2024-05-28T12:47:22Z)
• Diffusion$^2$: Dynamic 3D Content Generation via Score Composition of Video and Multi-view Diffusion Models [6.738732514502613]
  Diffusion$2$は動的3Dコンテンツ作成のための新しいフレームワークである。 3次元モデルからの幾何的一貫性と時間的滑らかさに関する知識を精査し、密集した多視点画像を直接サンプリングする。 非常にシームレスで一貫した4Dアセットを生成する上で,提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-04-02T17:58:03Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。 既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。