論文の概要: Geometry Driven Progressive Warping for One-Shot Face Animation
- arxiv url: http://arxiv.org/abs/2210.02391v1
- Date: Wed, 5 Oct 2022 17:07:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 13:53:54.599437
- Title: Geometry Driven Progressive Warping for One-Shot Face Animation
- Title(参考訳): 一発顔アニメーションのための幾何駆動プログレッシブワーピング
- Authors: Yatao Zhong, Faezeh Amjadi, Ilya Zharkov
- Abstract要約: Face animationは、アニメーションのポーズと表情で写真リアルなポートレートビデオを作成することを目的としている。
幾何学駆動モデルを提案するとともに,3次元顔の変位マップとニューラルコードを用いた2つの幾何学的パターンをガイダンスとして提案する。
提案モデルでは,高忠実度で映像を合成し,VoxCeleb1データセットとVoxCeleb2データセットの新たな最先端結果が得られることを示す。
- 参考スコア(独自算出の注目度): 5.349852254138086
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Face animation aims at creating photo-realistic portrait videos with animated
poses and expressions. A common practice is to generate displacement fields
that are used to warp pixels and features from source to target. However, prior
attempts often produce sub-optimal displacements. In this work, we present a
geometry driven model and propose two geometric patterns as guidance: 3D face
rendered displacement maps and posed neural codes. The model can optionally use
one of the patterns as guidance for displacement estimation. To model
displacements at locations not covered by the face model (e.g., hair), we
resort to source image features for contextual information and propose a
progressive warping module that alternates between feature warping and
displacement estimation at increasing resolutions. We show that the proposed
model can synthesize portrait videos with high fidelity and achieve the new
state-of-the-art results on the VoxCeleb1 and VoxCeleb2 datasets for both cross
identity and same identity reconstruction.
- Abstract(参考訳): Face animationは、アニメーションのポーズと表情で写真リアルなポートレートビデオを作成することを目的としている。
一般的なプラクティスは、ピクセルや特徴をソースからターゲットへゆがめるために使われる変位場を生成することである。
しかし、以前の試みは、しばしば準最適変位を生み出す。
本研究では,幾何駆動モデルを提案し,3次元顔表現型変位マップとポーズ付きニューラルコードという2つの幾何学的パターンを提案する。
モデルでは、任意のパターンの1つを変位推定のガイダンスとして使用できる。
顔モデル(毛髪など)で覆われていない場所での変位をモデル化するため,画像の特徴を文脈情報として活用し,解像度の増大に伴う特徴変形と変位推定を交互に行うプログレッシブ・ワーピング・モジュールを提案する。
提案モデルでは,高忠実度で映像を合成し,VoxCeleb1 と VoxCeleb2 のデータセットを用いて,クロスアイデンティティと同一の同一性再構成を実現する。
関連論文リスト
- Multiple View Geometry Transformers for 3D Human Pose Estimation [35.26756920323391]
多視点人間のポーズ推定におけるトランスフォーマーの3次元推論能力の向上を目指す。
本稿では,一連の幾何学的および外観的モジュールを反復的に構成した新しいハイブリッドモデルMVGFormerを提案する。
論文 参考訳(メタデータ) (2023-11-18T06:32:40Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳(メタデータ) (2023-05-04T17:58:40Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural
Radiance Field [81.07651217942679]
トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。
我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
論文 参考訳(メタデータ) (2023-04-11T09:47:35Z) - Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。
本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
論文 参考訳(メタデータ) (2022-08-18T09:20:48Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳(メタデータ) (2022-04-21T03:42:31Z) - LiP-Flow: Learning Inference-time Priors for Codec Avatars via
Normalizing Flows in Latent Space [90.74976459491303]
実行時入力に条件付けされた先行モデルを導入し、この先行空間を潜伏空間の正規化フローを介して3次元顔モデルに結びつける。
正規化フローは2つの表現空間をブリッジし、潜在サンプルをある領域から別の領域に変換することで、潜在可能性の目的を定義する。
提案手法は,表情のダイナミックスや微妙な表現をよりよく捉えることによって,表現的かつ効果的に先行することを示す。
論文 参考訳(メタデータ) (2022-03-15T13:22:57Z) - Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。
DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。
本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
論文 参考訳(メタデータ) (2020-12-07T19:30:45Z) - Generalizing Spatial Transformers to Projective Geometry with
Applications to 2D/3D Registration [11.219924013808852]
微分レンダリングは、3Dシーンと対応する2D画像とを接続する技術である。
本稿では,空間変換器を射影幾何学に一般化する新しい射影空間変換器モジュールを提案する。
論文 参考訳(メタデータ) (2020-03-24T17:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。