論文の概要: Reference-Guided Large-Scale Face Inpainting with Identity and Texture Control

• arxiv url: http://arxiv.org/abs/2303.07014v1
• Date: Mon, 13 Mar 2023 11:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 15:27:12.947611
• Title: Reference-Guided Large-Scale Face Inpainting with Identity and Texture Control
• Title（参考訳）: アイデンティティとテクスチャ制御による参照ガイド付き大規模顔ペンキ
• Authors: Wuyang Luo, Su Yang, Weishan Zhang
• Abstract要約: Face Inpaintingは、破損した領域内の顔画像の欠落したピクセルを確実に予測することを目的としている。 既存のほとんどの手法は、大きなデータセットから顔画像の分布を学習する生成モデルに依存している。 本稿では,参照顔画像によって案内される識別とテクスチャ制御により,大規模欠落領域を埋める新しい参照誘導型顔塗装法を提案する。
• 参考スコア（独自算出の注目度）: 4.866431869728018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face inpainting aims at plausibly predicting missing pixels of face images within a corrupted region. Most existing methods rely on generative models learning a face image distribution from a big dataset, which produces uncontrollable results, especially with large-scale missing regions. To introduce strong control for face inpainting, we propose a novel reference-guided face inpainting method that fills the large-scale missing region with identity and texture control guided by a reference face image. However, generating high-quality results under imposing two control signals is challenging. To tackle such difficulty, we propose a dual control one-stage framework that decouples the reference image into two levels for flexible control: High-level identity information and low-level texture information, where the identity information figures out the shape of the face and the texture information depicts the component-aware texture. To synthesize high-quality results, we design two novel modules referred to as Half-AdaIN and Component-Wise Style Injector (CWSI) to inject the two kinds of control information into the inpainting processing. Our method produces realistic results with identity and texture control faithful to reference images. To the best of our knowledge, it is the first work to concurrently apply identity and component-level controls in face inpainting to promise more precise and controllable results. Code is available at https://github.com/WuyangLuo/RefFaceInpainting
• Abstract（参考訳）: Face Inpaintingは、破損した領域内の顔画像の欠落を確実に予測することを目的としている。 既存の手法のほとんどは、大規模なデータセットから顔画像分布を学習する生成モデルに依存している。 そこで本研究では, 顔塗抹の強固な制御を導入するために, 大規模欠落領域を同一性, テクスチャ制御で満たす, 新たな参照誘導顔塗抹法を提案する。 しかし、2つの制御信号による高品質な結果の生成は困難である。 そこで,本稿では,顔の形状とテクスチャを表現したテクスチャ情報を識別するハイレベルな識別情報と低レベルなテクスチャ情報という,フレキシブルな制御のために,参照画像を2段階に分離する2段階制御の一段階フレームワークを提案する。 高品質な結果を合成するために,2種類の制御情報を塗布処理に注入するために,Half-AdaIN と Component-Wise Style Injector (CWSI) と呼ばれる2つの新しいモジュールを設計した。 本手法は,参照画像に忠実なアイデンティティとテクスチャ制御による現実的な結果を生成する。 私たちの知る限りでは、より正確で制御可能な結果を約束するために、IDとコンポーネントレベルのコントロールを同時に適用するのは、初めての作業です。 コードはhttps://github.com/WuyangLuo/RefFaceInpaintingで入手できる。

関連論文リスト

• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
  本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。 IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。 定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-03-24T14:44:56Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [65.98684203654908]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• Identity-Guided Face Generation with Multi-modal Contour Conditions [15.84849740726513]
  本稿では、輪郭と、入力として同一性を指定する余分な画像を取得するフレームワークを提案する。 アイデンティティエンコーダは、主エンコーダを伴ってアイデンティティ関連特徴を抽出し、粗い輪郭情報を得る。 提案手法は1024$times$1024の解像度で写真リアルな結果が得られる。
  論文  参考訳（メタデータ） (2021-10-10T17:08:22Z)
• Aggregated Contextual Transformations for High-Resolution Image Inpainting [57.241749273816374]
  画像の高精細化のための拡張GANモデルAggregated Contextual-Transformation GAN (AOT-GAN)を提案する。 そこで,提案するAOTブロックの複数のレイヤを積み重ねることで,AOT-GANのジェネレータを構築する。 テクスチャ合成を改善するため,AOT-GANの識別をマスク予測タスクでトレーニングすることで強化する。
  論文  参考訳（メタデータ） (2021-04-03T15:50:17Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• Reference-guided Face Component Editing [51.29105560090321]
  本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。 具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。 フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
  論文  参考訳（メタデータ） (2020-06-03T05:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。