論文の概要: Face Super-Resolution Guided by 3D Facial Priors

• arxiv url: http://arxiv.org/abs/2007.09454v1
• Date: Sat, 18 Jul 2020 15:26:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:06:12.489099
• Title: Face Super-Resolution Guided by 3D Facial Priors
• Title（参考訳）: 3次元顔前者の顔超解像
• Authors: Xiaobin Hu, Wenqi Ren, John LaMaster, Xiaochun Cao, Xiaoming Li, Zechao Li, Bjoern Menze, and Wei Liu
• Abstract要約: シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
• 参考スコア（独自算出の注目度）: 92.23902886737832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art face super-resolution methods employ deep convolutional neural networks to learn a mapping between low- and high- resolution facial patterns by exploring local appearance knowledge. However, most of these methods do not well exploit facial structures and identity information, and struggle to deal with facial images that exhibit large pose variations. In this paper, we propose a novel face super-resolution method that explicitly incorporates 3D facial priors which grasp the sharp facial structures. Our work is the first to explore 3D morphable knowledge based on the fusion of parametric descriptions of face attributes (e.g., identity, facial expression, texture, illumination, and face pose). Furthermore, the priors can easily be incorporated into any network and are extremely efficient in improving the performance and accelerating the convergence speed. Firstly, a 3D face rendering branch is set up to obtain 3D priors of salient facial structures and identity knowledge. Secondly, the Spatial Attention Module is used to better exploit this hierarchical information (i.e., intensity similarity, 3D facial structure, and identity content) for the super-resolution problem. Extensive experiments demonstrate that the proposed 3D priors achieve superior face super-resolution results over the state-of-the-arts.
• Abstract（参考訳）: 最先端の顔超解像法では、深層畳み込みニューラルネットワークを用いて、局所的な外観知識を探索することで、低解像度と高分解能の顔パターンのマッピングを学ぶ。 しかし、これらの手法の多くは顔の構造や識別情報をうまく利用せず、大きなポーズのバリエーションを示す顔画像を扱うのに苦労している。 本稿では,鋭い顔構造を把握できる3次元顔前処理を明示的に組み込む新しい顔超解像法を提案する。 私たちの研究は、顔属性(例えば、アイデンティティ、表情、テクスチャ、照明、顔ポーズ)のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求した。 さらに、プリエントを任意のネットワークに容易に組み込むことができ、性能向上や収束速度の高速化に極めて効果的である。 まず、3D顔レンダリングブランチを設定し、正常な顔構造とアイデンティティ知識の3D先行情報を取得する。 第二に、空間注意モジュールは、この階層的情報(強度類似性、3D顔構造、アイデンティティコンテンツ)を超解像問題に活用するために用いられる。 広範な実験により、提案された3dプリエントは最先端技術よりも優れた顔の超解像結果が得られることが証明された。

関連論文リスト

• NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images [18.489290898059462]
  本稿では,新しい3次元顔レンダリングモデルであるNeuFaceを提案し,その基礎となる3次元表現の正確かつ物理的意味を学習する。 BRDFと簡易な低ランク前処理を導入し,両面のあいまいさを効果的に低減し,顔のBRDFの性能を向上させる。
  論文  参考訳（メタデータ） (2023-03-24T15:57:39Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• Multi-channel Deep 3D Face Recognition [4.726009758066045]
  2次元顔認証の精度は、ポーズ、照明、メイクアップ、表情の変化によって依然として疑問視されている。 本稿では,3次元顔データに基づく顔認識のためのマルチチャネルディープ3次元顔ネットワークを提案する。 マルチチャネル深部3次元顔ネットワークの顔認識精度は98.6。
  論文  参考訳（メタデータ） (2020-09-30T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。