論文の概要: SUPER: Selfie Undistortion and Head Pose Editing with Identity Preservation

• arxiv url: http://arxiv.org/abs/2406.12700v1
• Date: Tue, 18 Jun 2024 15:14:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:18:55.618068
• Title: SUPER: Selfie Undistortion and Head Pose Editing with Identity Preservation
• Title（参考訳）: SuperPER:Selfie Undistortion and Head PoseEditing with Identity Preservation
• Authors: Polina Karpikova, Andrei Spiridonov, Anna Vorontsova, Anastasia Yaschenko, Ekaterina Radionova, Igor Medvedev, Alexander Limonov,
• Abstract要約: Superは、クローズアップ顔作物の歪みを排除し、頭部のポーズを調整する新しい方法である。 我々は,カメラパラメータと顔潜時符号を最適化することにより,顔画像の3D GANインバージョンを行う。 得られた潜伏符号から深度を推定し、深度誘導型3Dメッシュを作成し、更新されたカメラパラメータでレンダリングし、歪んだポートレートを得る。
• 参考スコア（独自算出の注目度）: 37.89326064230339
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-portraits captured from a short distance might look unnatural or even unattractive due to heavy distortions making facial features malformed, and ill-placed head poses. In this paper, we propose SUPER, a novel method of eliminating distortions and adjusting head pose in a close-up face crop. We perform 3D GAN inversion for a facial image by optimizing camera parameters and face latent code, which gives a generated image. Besides, we estimate depth from the obtained latent code, create a depth-induced 3D mesh, and render it with updated camera parameters to obtain a warped portrait. Finally, we apply the visibility-based blending so that visible regions are reprojected, and occluded parts are restored with a generative model. Experiments on face undistortion benchmarks and on our self-collected Head Rotation dataset (HeRo), show that SUPER outperforms previous approaches both qualitatively and quantitatively, opening new possibilities for photorealistic selfie editing.
• Abstract（参考訳）: 短い距離から捉えた自画像は、顔の特徴が悪くなったり、位置が不適切な頭部のポーズをしていたりして、不自然あるいは不自然に見えるかもしれない。 本稿では, クローズアップ顔作物における歪みを除去し, 頭部ポーズを調整する新しい方法であるSUPERを提案する。 カメラパラメータと顔潜時符号を最適化して顔画像の3D GANインバージョンを行い、生成画像を生成する。 さらに,得られた潜伏符号から深度を推定し,深度誘導型3Dメッシュを作成し,更新されたカメラパラメータでレンダリングし,歪んだポートレートを得る。 最後に、可視領域が再投影され、閉塞された部分が生成モデルで復元されるように、可視性に基づくブレンディングを適用する。 顔の歪まないベンチマークと自己コンパイル型ヘッドローテーションデータセット(HeRo)の実験では、SUPERは定性的にも量的にも従来のアプローチよりも優れており、フォトリアリスティックなセルフィー編集の新たな可能性を示している。

関連論文リスト

• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• 3D GAN Inversion with Facial Symmetry Prior [42.22071135018402]
  3D GANとGANの反転法を関連付けて、実際の画像をジェネレータの潜伏空間に投影することは自然である。 顔の対称性を事前に導入することで3D GANのインバージョンを促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T11:57:45Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
  ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。 入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。 3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:29:29Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Adaptive 3D Face Reconstruction from a Single Image [45.736818498242016]
  1枚の画像から3次元の顔形状を適応的に再構成する新しい関節2Dと3Dの最適化法を提案する。 複数のデータセットに対する実験結果から,本手法は1枚のカラー画像から高品質な再構成を実現できることが示された。
  論文  参考訳（メタデータ） (2020-07-08T09:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。