論文の概要: Parametric Reshaping of Portraits in Videos
- arxiv url: http://arxiv.org/abs/2205.02538v1
- Date: Thu, 5 May 2022 09:55:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-07 00:43:04.812713
- Title: Parametric Reshaping of Portraits in Videos
- Title（参考訳）: ビデオにおけるポートレートのパラメトリックリシェープ
- Authors: Xiangjun Tang, Wenxin Sun, Yong-Liang Yang, and Xiaogang Jin
- Abstract要約: 本研究では,映像中のポートレートを再現し,スムーズな修正結果を生成するための,頑健で使いやすいパラメトリック手法を提案する。
入力されたポートレートビデオは,2つの主要なステージ – 安定した顔再構成と連続的なビデオ再構成 – から構成される。
第2段階では、まず、顔の重量変化を反映したパラメトリック・リフォーミングモデルを用いて、再構成された3次元面を再構成し、その形状を変えて映像フレームの変形を誘導する。
- 参考スコア（独自算出の注目度）: 24.428095383264456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sharing short personalized videos to various social media networks has become
quite popular in recent years. This raises the need for digital retouching of
portraits in videos. However, applying portrait image editing directly on
portrait video frames cannot generate smooth and stable video sequences. To
this end, we present a robust and easy-to-use parametric method to reshape the
portrait in a video to produce smooth retouched results. Given an input
portrait video, our method consists of two main stages: stabilized face
reconstruction, and continuous video reshaping. In the first stage, we start by
estimating face rigid pose transformations across video frames. Then we jointly
optimize multiple frames to reconstruct an accurate face identity, followed by
recovering face expressions over the entire video. In the second stage, we
first reshape the reconstructed 3D face using a parametric reshaping model
reflecting the weight change of the face, and then utilize the reshaped 3D face
to guide the warping of video frames. We develop a novel signed distance
function based dense mapping method for the warping between face contours
before and after reshaping, resulting in stable warped video frames with
minimum distortions. In addition, we use the 3D structure of the face to
correct the dense mapping to achieve temporal consistency. We generate the
final result by minimizing the background distortion through optimizing a
content-aware warping mesh. Extensive experiments show that our method is able
to create visually pleasing results by adjusting a simple reshaping parameter,
which facilitates portrait video editing for social media and visual effects.
- Abstract（参考訳）: 様々なソーシャルメディアネットワークに短いパーソナライズされたビデオを共有することは、近年非常に人気がある。
これにより、ビデオのポートレートのデジタルリタッチの必要性が高まる。
しかし、ポートレートビデオフレームに直接ポートレート画像編集を適用すると、スムーズで安定したビデオシーケンスを生成できない。
この目的のために,映像中の像を再現してスムーズな修正結果を生成する,頑健で使いやすいパラメトリック手法を提案する。
入力されたポートレートビデオは,2つの主要なステージ – 安定した顔再構成と連続的なビデオ再構成 – から構成される。
最初の段階では、ビデオフレーム間の顔剛性ポーズ変換を推定することから始める。
そして、複数のフレームを共同で最適化し、正確な顔のアイデンティティを再構築し、ビデオ全体の表情を復元する。
第2段階では、まず、顔の重量変化を反映したパラメトリック・リフォーミングモデルを用いて再構成された3次元面を再構成し、その後、その形状を変えて映像フレームの変形を誘導する。
我々は, 顔の輪郭間の歪みを最小限の歪みで抑制する, 符号付き距離関数に基づく高密度マッピング法を開発した。
さらに,顔の3次元構造を用いて高密度マッピングを補正し,時間的一貫性を実現する。
コンテンツ認識型ワーピングメッシュを最適化することで,背景歪みを最小化することで最終結果を生成する。
広範な実験により,ソーシャルメディアや視覚効果のポートレート映像編集を容易にするシンプルなリシェーピングパラメータを調整することにより,視覚的に満足できる結果が得られた。
関連論文リスト
- GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。
このようなパイプラインには,魅力的なメリットが3つあります。
論文 参考訳（メタデータ） (2023-12-07T18:59:41Z) - A Large-Scale 3D Face Mesh Video Dataset via Neural Re-parameterized
Optimization [17.938604013181426]
ビデオ上での3次元顔メッシュ擬似アノテーションであるNeuFaceを提案する。
我々は、NeuFace-datasetと呼ばれる大規模なフェイスビデオに、ビュー/フレーム毎の正確で一貫したフェイスメッシュを注釈付けします。
データセット内の3次元顔の自然性と多様性を利用して、3次元顔関連タスクにおけるデータセットの有用性を実証する。
論文 参考訳（メタデータ） (2023-10-04T23:24:22Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2022-06-27T06:48:15Z) - Learning to Deblur and Rotate Motion-Blurred Faces [43.673660541417995]
ニューラルネットワークを用いて、1つの画像と対応する顔の視線から3Dビデオ表現を再構成する。
次に、推定視線に対するカメラ視点と、エンコーダデコーダネットワークに入力されるぼやけた画像とを比較し、新しいカメラ視点でシャープフレームのビデオを生成する。
論文 参考訳（メタデータ） (2021-12-14T17:51:19Z) - UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video
Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。
本フレームワークは,顔交換と顔再現を同時に行うように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2021-08-12T10:35:22Z) - LipSync3D: Data-Efficient Learning of Personalized 3D Talking Faces from
Video using Pose and Lighting Normalization [4.43316916502814]
音声からパーソナライズされた3D音声をアニメーションするビデオベースの学習フレームワークを提案する。
データサンプルの効率を大幅に改善する2つのトレーニング時間データ正規化を導入する。
提案手法は,現在最先端のオーディオ駆動型ビデオ再現ベンチマークを,リアリズム,リップシンク,視覚的品質スコアの点で上回っている。
論文 参考訳（メタデータ） (2021-06-08T08:56:40Z) - Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。
3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳（メタデータ） (2020-07-03T02:49:20Z) - Consistent Video Depth Estimation [57.712779457632024]
モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。
動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。
我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
論文 参考訳（メタデータ） (2020-04-30T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。