論文の概要: IFaceUV: Intuitive Motion Facial Image Generation by Identity Preservation via UV map

• arxiv url: http://arxiv.org/abs/2306.04957v1
• Date: Thu, 8 Jun 2023 06:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 16:04:29.055145
• Title: IFaceUV: Intuitive Motion Facial Image Generation by Identity Preservation via UV map
• Title（参考訳）: IFaceUV:UVマップによるアイデンティティ保存による直感的動き顔画像生成
• Authors: Hansol Lee, Yunhoe Ku, Eunseo Kim, Seungryul Baek
• Abstract要約: IFaceUVは、2Dと3Dの情報を適切に組み合わせて顔の再現作業を行うパイプラインである。 三次元変形可能な顔モデル(3DMM)とそれに対応する紫外線マップを用いて、顔の動きやテクスチャを直感的に制御する。 パイプラインでは,まず3DMMパラメータと対応するUVマップを,ソース画像とターゲット画像から抽出する。 並行して、2次元ワープネットワークから得られる2次元流れ場に応じて、ソースイメージをワープする。
• 参考スコア（独自算出の注目度）: 5.397942823754509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reenacting facial images is an important task that can find numerous applications. We proposed IFaceUV, a fully differentiable pipeline that properly combines 2D and 3D information to conduct the facial reenactment task. The three-dimensional morphable face models (3DMMs) and corresponding UV maps are utilized to intuitively control facial motions and textures, respectively. Two-dimensional techniques based on 2D image warping is further required to compensate for missing components of the 3DMMs such as backgrounds, ear, hair and etc. In our pipeline, we first extract 3DMM parameters and corresponding UV maps from source and target images. Then, initial UV maps are refined by the UV map refinement network and it is rendered to the image with the motion manipulated 3DMM parameters. In parallel, we warp the source image according to the 2D flow field obtained from the 2D warping network. Rendered and warped images are combined in the final editing network to generate the final reenactment image. Additionally, we tested our model for the audio-driven facial reenactment task. Extensive qualitative and quantitative experiments illustrate the remarkable performance of our method compared to other state-of-the-art methods.
• Abstract（参考訳）: 顔画像の再現は多くのアプリケーションを見つける上で重要なタスクである。 IFaceUVは2次元と3次元の情報を適切に組み合わせて顔の再現作業を行うパイプラインである。 3次元変形可能な顔モデル(3dmms)と対応するuvマップを用いて、顔の動きやテクスチャを直感的に制御する。 背景, 耳, 髪などの3dmmの欠落成分を補うためには, 2次元画像ウォーピングに基づく2次元技術がさらに必要である。 パイプラインでは,まず3DMMパラメータと対応するUVマップを,ソース画像とターゲット画像から抽出する。 そして、初期uvマップをuvマップリファインメントネットワークにより洗練し、動作操作された3dmmパラメータで画像にレンダリングする。 並行して,2次元整流網から得られた2次元流れ場に応じて音源画像を整流する。 最終編集ネットワークにはレンダリング画像とワープ画像が組み合わされ、最終再現画像を生成する。 さらに,音声駆動顔再現タスクのためのモデルもテストした。 広範な質的・定量的実験により,本手法は他の最先端手法と比較して優れた性能を示す。

関連論文リスト

• TP3M: Transformer-based Pseudo 3D Image Matching with Reference Image [0.9831489366502301]
  トランスフォーマーを用いた擬似3次元画像マッチング手法を提案する。 ソース画像から抽出した2D特徴を参照画像の助けを借りて3D特徴にアップグレードし、目的地画像から抽出した2D特徴にマッチする。 複数のデータセットに対する実験結果から, 提案手法は, ホモグラフィ推定, ポーズ推定, 視覚的ローカライゼーションのタスクにおいて, 最先端の課題を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-14T08:56:09Z)
• Nuvo: Neural UV Mapping for Unruly 3D Representations [61.87715912587394]
  既存のUVマッピングアルゴリズムは、最先端の3D再構成と生成技術によって生成された幾何学で動作する。 本稿では,3次元再構成と生成技術により生成された幾何学的手法を用いたUVマッピング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:58:38Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• Controllable Face Manipulation and UV Map Generation by Self-supervised Learning [20.10160338724354]
  近年の手法は2次元生成モデルと3DMMを組み合わせることで2次元画像の明示的な制御を実現する。 3DMMによるテクスチャ再構築における現実性と明瞭さの欠如により,合成画像と3DMMの描画画像との間には領域ギャップがある。 本研究では,3DMMのパラメータを制御して,事前学習したStyleGANの潜在空間を明示的に編集することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T16:49:25Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。