Fugu-MT 論文翻訳(概要): Image-to-Video Generation via 3D Facial Dynamics

論文の概要: Image-to-Video Generation via 3D Facial Dynamics

arxiv url: http://arxiv.org/abs/2105.14678v1
Date: Mon, 31 May 2021 02:30:11 GMT
ステータス: 処理完了
システム内更新日: 2021-06-01 16:58:39.136288
Title: Image-to-Video Generation via 3D Facial Dynamics
Title（参考訳）: 3次元顔ダイナミクスによる画像と映像の生成
Authors: Xiaoguang Tu, Yingtian Zou, Jian Zhao, Wenjie Ai, Jian Dong, Yuan Yao, Zhikang Wang, Guodong Guo, Zhifeng Li, Wei Liu, and Jiashi Feng
Abstract要約: 静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
参考スコア（独自算出の注目度）: 78.01476554323179
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a versatile model, FaceAnime, for various video generation tasks from still images. Video generation from a single face image is an interesting problem and usually tackled by utilizing Generative Adversarial Networks (GANs) to integrate information from the input face image and a sequence of sparse facial landmarks. However, the generated face images usually suffer from quality loss, image distortion, identity change, and expression mismatching due to the weak representation capacity of the facial landmarks. In this paper, we propose to "imagine" a face video from a single face image according to the reconstructed 3D face dynamics, aiming to generate a realistic and identity-preserving face video, with precisely predicted pose and facial expression. The 3D dynamics reveal changes of the facial expression and motion, and can serve as a strong prior knowledge for guiding highly realistic face video generation. In particular, we explore face video prediction and exploit a well-designed 3D dynamic prediction network to predict a 3D dynamic sequence for a single face image. The 3D dynamics are then further rendered by the sparse texture mapping algorithm to recover structural details and sparse textures for generating face frames. Our model is versatile for various AR/VR and entertainment applications, such as face video retargeting and face video prediction. Superior experimental results have well demonstrated its effectiveness in generating high-fidelity, identity-preserving, and visually pleasant face video clips from a single source face image.
Abstract（参考訳）: 静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。単一顔画像からの映像生成は興味深い問題であり、通常はGAN(Generative Adversarial Networks)を利用して入力された顔画像とスパースな顔のランドマークのシーケンスからの情報を統合する。しかしながら、生成された顔画像は、通常、顔のランドマークの弱い表現能力のために、品質損失、画像歪み、アイデンティティの変化、表現ミスマッチに悩まされる。本稿では,1つの顔画像から再構成された3次元顔のダイナミックスに基づいて顔映像を「想像」し,正確に予測されたポーズと表情で現実的でアイデンティティを保った顔映像を生成することを目的とする。 3Dダイナミックスは表情と動きの変化を明らかにし、高度にリアルな顔ビデオ生成を導くための強力な事前知識として機能する。特に,顔映像の予測を探索し,設計が整った3次元動的予測ネットワークを用いて,単一の顔画像に対する3次元動的シーケンスを予測する。 3dダイナミックスはさらにスパーステクスチャマッピングアルゴリズムによってレンダリングされ、顔フレームを生成するための構造の詳細とスパーステクスチャを復元する。私たちのモデルは、顔ビデオの再ターゲティングや顔ビデオ予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。単一音源の顔画像から高忠実度, アイデンティティ保存, 視覚的に快適な顔映像を生成する上で, 優れた実験結果が得られた。

関連論文リスト

Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
論文参考訳（メタデータ） (2024-09-25T14:56:37Z)
GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文参考訳（メタデータ） (2024-09-18T13:05:43Z)
G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
論文参考訳（メタデータ） (2024-08-23T13:13:24Z)
NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images [18.489290898059462]
本稿では,新しい3次元顔レンダリングモデルであるNeuFaceを提案し,その基礎となる3次元表現の正確かつ物理的意味を学習する。 BRDFと簡易な低ランク前処理を導入し,両面のあいまいさを効果的に低減し,顔のBRDFの性能を向上させる。
論文参考訳（メタデータ） (2023-03-24T15:57:39Z)
StyleFaceV: Face Video Generation via Decomposing and Recomposing Pretrained StyleGAN3 [43.43545400625567]
そこで我々は,鮮明な動きを持つ高忠実度ID保存顔ビデオを生成するStyleFaceVというフレームワークを提案する。我々の中核となる洞察は、外観を分解し、情報を合成し、それらをStyleGAN3の潜在空間に再分解することで、安定的でダイナミックな結果を生み出すことである。
論文参考訳（メタデータ） (2022-08-16T17:47:03Z)
Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文参考訳（メタデータ） (2022-06-27T06:48:15Z)
SAFA: Structure Aware Face Animation [9.58882272014749]
顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。 3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
論文参考訳（メタデータ） (2021-11-09T03:22:38Z)
FaceDet3D: Facial Expressions with 3D Geometric Detail Prediction [62.5557724039217]
表情は3d顔形状の様々な高レベルな詳細を誘導する。人間の顔のモルフォラブルモデル(3DMM)は、PCAベースの表現でそのような細かい詳細をキャプチャできません。 faceet3dは,1つの画像から,任意の対象表現と一致する幾何学的顔詳細を生成する,初歩的な手法である。
論文参考訳（メタデータ） (2020-12-14T23:07:38Z)
Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文参考訳（メタデータ） (2020-06-17T23:38:37Z)
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。登録された画像に対して,60fpsで3次元フローマップを生成する。
論文参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。