論文の概要: E2F-Net: Eyes-to-Face Inpainting via StyleGAN Latent Space

• arxiv url: http://arxiv.org/abs/2403.12197v1
• Date: Mon, 18 Mar 2024 19:11:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 18:21:58.025840
• Title: E2F-Net: Eyes-to-Face Inpainting via StyleGAN Latent Space
• Title（参考訳）: E2F-Net:StyleGANラテント・スペースによるアイ・ツー・フェイス・インペインティング
• Authors: Ahmad Hassanpour, Fatemeh Jamalbafrani, Bian Yang, Kiran Raja, Raymond Veldhuis, Julian Fierrez,
• Abstract要約: 我々は、E2F-Net(Eyes-to-Face Network)と呼ばれるGANベースのモデルを提案する。 提案手法は,2つの専用エンコーダを用いて眼周囲領域から同一性および非同一性の特徴を抽出する。 提案手法は,現在の手法を超越して,高品質な顔全体の再構築に成功していることを示す。
• 参考スコア（独自算出の注目度）: 4.110419543591102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face inpainting, the technique of restoring missing or damaged regions in facial images, is pivotal for applications like face recognition in occluded scenarios and image analysis with poor-quality captures. This process not only needs to produce realistic visuals but also preserve individual identity characteristics. The aim of this paper is to inpaint a face given periocular region (eyes-to-face) through a proposed new Generative Adversarial Network (GAN)-based model called Eyes-to-Face Network (E2F-Net). The proposed approach extracts identity and non-identity features from the periocular region using two dedicated encoders have been used. The extracted features are then mapped to the latent space of a pre-trained StyleGAN generator to benefit from its state-of-the-art performance and its rich, diverse and expressive latent space without any additional training. We further improve the StyleGAN output to find the optimal code in the latent space using a new optimization for GAN inversion technique. Our E2F-Net requires a minimum training process reducing the computational complexity as a secondary benefit. Through extensive experiments, we show that our method successfully reconstructs the whole face with high quality, surpassing current techniques, despite significantly less training and supervision efforts. We have generated seven eyes-to-face datasets based on well-known public face datasets for training and verifying our proposed methods. The code and datasets are publicly available.
• Abstract（参考訳）: 顔画像の欠落または損傷領域を復元する技術である顔の塗り絵は、隠蔽されたシナリオにおける顔認識や、品質の悪いキャプチャによる画像解析といった応用において重要なものである。 このプロセスは、現実的なヴィジュアライゼーションを生成するだけでなく、個々のアイデンティティ特性も保持する。 本研究の目的は、新しいGANベースの「Eyes-to-Face Network (E2F-Net)」モデルにより、眼球周囲領域(眼球面)に塗布することである。 提案手法は,2つの専用エンコーダを用いて眼周囲領域から同一性および非同一性の特徴を抽出する。 抽出された特徴は、事前訓練されたStyleGANジェネレータの潜伏空間にマッピングされ、最先端の性能とリッチで多様な表現力のある潜伏空間の恩恵を受けることができる。 GANインバージョン手法の最適化により,遅延空間における最適コードを見つけるために,StyleGAN出力をさらに改良する。 私たちのE2F-Netは、二次的な利点として計算の複雑さを減らす最小限のトレーニングプロセスを必要とします。 広範囲な実験を通して,本手法は,訓練と監督の努力が著しく少ないにも関わらず,顔全体を高品質に再構築し,現在の技術を超えていることを示す。 提案手法をトレーニングし,検証するために,よく知られた公開顔データセットに基づいて,視線対面データセットを7つ生成した。 コードとデータセットは公開されている。

関連論文リスト

• G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
  可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。 本稿では,Gtextsuperscript2Faceを提案する。 提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2024-08-18T12:36:47Z)
• Optimal-Landmark-Guided Image Blending for Face Morphing Attacks [8.024953195407502]
  本稿では,最適なランドマーク誘導画像ブレンディングを用いた顔形態形成攻撃を行うための新しい手法を提案する。 提案手法は, ランドマークの最適化とグラフ畳み込みネットワーク(GCN)によるランドマークと外観特徴の組み合わせにより, 従来のアプローチの限界を克服する。
  論文  参考訳（メタデータ） (2024-01-30T03:45:06Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Attribute-preserving Face Dataset Anonymization via Latent Code Optimization [64.4569739006591]
  本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。 我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
  論文  参考訳（メタデータ） (2023-03-20T17:34:05Z)
• Reconstruct Face from Features Using GAN Generator as a Distribution Constraint [17.486032607577577]
  深層畳み込みニューラルネットワーク(CNN)に基づく顔認識は、抽出された高い識別特性に起因する精度の高い性能を示す。 しかし、ディープラーニングモデル(ディープ機能)から抽出した機能のセキュリティとプライバシは、しばしば見過ごされている。 本稿では,CNNネットワーク構成にアクセスすることなく,深い特徴から顔画像の再構成を提案する。
  論文  参考訳（メタデータ） (2022-06-09T06:11:59Z)
• Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior [29.17397958948725]
  本稿では,前向きに顔の再生を行うブラインド・フェイス・リカバリ・ネットワークを提案する。 我々のモデルは、顔の復元や顔の超解像処理において、従来の技術よりも優れている。
  論文  参考訳（メタデータ） (2022-05-28T09:23:48Z)
• FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment [28.83743270895698]
  顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。 従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な被験者交換方式を提案する。 顔の表情や表情の変化を調整し、単一の画像やビデオシーケンスに適用できる、新しい反復的深層学習に基づく顔の再現手法を導出する。 映像系列に対しては,再現性,デラウネー三角測量,バリ座標に基づく連続的な顔ビューの認識を導入し,顔領域をフェースコンプリートネットワークで処理する。
  論文  参考訳（メタデータ） (2022-02-25T21:04:39Z)
• Heterogeneous Face Frontalization via Domain Agnostic Learning [74.86585699909459]
  本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。 DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。
  論文  参考訳（メタデータ） (2021-07-17T20:41:41Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)
• Dual-Attention GAN for Large-Pose Face Frontalization [59.689836951934694]
  本稿では,フォトリアリスティック顔フロンダル化のためのDA-GAN(Dual-Attention Generative Adversarial Network)を提案する。 具体的には、ローカル機能と長距離依存関係を統合するために、自己アテンションベースのジェネレータが導入された。 顔領域の局所的特徴を強調するために,新しい顔認識に基づく識別器を適用した。
  論文  参考訳（メタデータ） (2020-02-17T20:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。