論文の概要: Diverse facial inpainting guided by exemplars
- arxiv url: http://arxiv.org/abs/2202.06358v1
- Date: Sun, 13 Feb 2022 16:29:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 15:40:44.755278
- Title: Diverse facial inpainting guided by exemplars
- Title（参考訳）: 模範者が導いた横顔の塗り絵
- Authors: Wanglong Lu, Hanli Zhao, Xianta Jiang, Xiaogang Jin, Min Wang, Jiankai
Lyu, and Kaijie Shi
- Abstract要約: 本稿では,新しい多彩でインタラクティブな顔インペイントフレームワークEXE-GANを紹介する。
画像全体の高品質な視覚効果を保ちつつ、模範的な顔属性で顔画像を完成させることもできる。
提案手法は, 入力画像のグローバルなスタイル, スタイル, サンプル画像の模範的なスタイルを活用することで, 生成的対向ネットワークに基づく顔の塗装を実現する。
- 参考スコア（独自算出の注目度）: 8.360536784609309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial image inpainting is a task of filling visually realistic and
semantically meaningful contents for missing or masked pixels in a face image.
Although existing methods have made significant progress in achieving high
visual quality, the controllable diversity of facial image inpainting remains
an open problem in this field. This paper introduces EXE-GAN, a novel diverse
and interactive facial inpainting framework, which can not only preserve the
high-quality visual effect of the whole image but also complete the face image
with exemplar-like facial attributes. The proposed facial inpainting is
achieved based on generative adversarial networks by leveraging the global
style of input image, the stochastic style, and the exemplar style of example
image. A novel attribute similarity metric is introduced to encourage networks
to learn the style of facial attributes from the exemplar in a self-supervised
way. To guarantee the natural transition across the boundary of inpainted
regions, a novel spatial variant gradient backpropagation technique is designed
to adjust the loss gradients based on the spatial location. A variety of
experimental results and comparisons on public CelebA-HQ and FFHQ datasets are
presented to demonstrate the superiority of the proposed method in terms of
both the quality and diversity in facial inpainting.
- Abstract（参考訳）: 顔画像インペインティングは、顔画像の欠落やマスクされたピクセルに対する視覚的で意味的に意味のあるコンテンツを埋めるタスクである。
既存の手法は高い視覚品質を達成するために大きな進歩を遂げているが、顔画像の着色の制御可能な多様性はこの分野では未解決の問題である。
本稿では,画像全体の高品質な視覚効果を保ちつつ,顔像を模範的な顔属性で仕上げることのできる,多彩でインタラクティブな顔インペイントフレームワークEXE-GANを紹介する。
提案手法は, 入力画像のグローバルなスタイル, 確率的スタイル, サンプル画像の模範的なスタイルを活用することで, 生成的対向ネットワークに基づいて顔の塗装を実現する。
ネットワークが顔属性のスタイルを自己監督的に学習できるように,新たな属性類似度指標が導入された。
塗装領域の境界を越える自然遷移を保証するために,空間位置に基づいて損失勾配を調整する新しい空間変動勾配バックプロパゲーション手法が考案された。
CelebA-HQとFFHQのデータセットに対する様々な実験結果と比較を行い、顔の塗布における品質と多様性の両面で提案手法の優位性を実証した。
関連論文リスト
- Rank-based No-reference Quality Assessment for Face Swapping [88.53827937914038]
顔スワップ法における品質測定の基準は、操作された画像とソース画像の間のいくつかの距離に依存する。
顔スワップ用に設計された新しい非参照画像品質評価法(NR-IQA)を提案する。
論文 参考訳（メタデータ） (2024-06-04T01:36:29Z) - BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed
Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。
BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-03-11T17:59:31Z) - Self-Supervised Facial Representation Learning with Facial Region
Awareness [13.06996608324306]
自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。
この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。
本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-04T15:48:56Z) - Optimal-Landmark-Guided Image Blending for Face Morphing Attacks [8.024953195407502]
本稿では,最適なランドマーク誘導画像ブレンディングを用いた顔形態形成攻撃を行うための新しい手法を提案する。
提案手法は, ランドマークの最適化とグラフ畳み込みネットワーク(GCN)によるランドマークと外観特徴の組み合わせにより, 従来のアプローチの限界を克服する。
論文 参考訳（メタデータ） (2024-01-30T03:45:06Z) - Personalized Face Inpainting with Diffusion Models by Parallel Visual
Attention [55.33017432880408]
本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。
我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。
実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
論文 参考訳（メタデータ） (2023-12-06T15:39:03Z) - GaFET: Learning Geometry-aware Facial Expression Translation from
In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。
我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文 参考訳（メタデータ） (2023-08-07T09:03:35Z) - FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for
Blind Face Inpainting [77.78305705925376]
ブラインド・フェイス・インペインティング(ブラインド・フェイス・インペインティング)とは、顔画像の劣化した領域を明確に示さずに、視覚コンテンツを再構築する作業である。
本稿では、これらの課題に対処するために、周波数誘導変換器とTop-Down Refinement Network(FT-TDR)と呼ばれる新しい2段階ブラインドフェイス塗装法を提案する。
論文 参考訳（メタデータ） (2021-08-10T03:12:01Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:29:29Z) - Foreground-guided Facial Inpainting with Fidelity Preservation [7.5089719291325325]
本稿では,畳み込みニューラルネットワーク層を用いて顔特徴を抽出・生成できるフォアグラウンド誘導型顔塗工フレームワークを提案する。
具体的には,表情の意味的能力推論,自然・不自然な特徴(メイクアップ)を用いた新しい損失関数を提案する。
提案手法は, 顔成分の高忠実度保存を, 質的に比較すると, 比較して定量的な結果を得た。
論文 参考訳（メタデータ） (2021-05-07T15:50:58Z) - Explainable Face Recognition [4.358626952482686]
本稿では,説明可能な顔認識のための総合的なベンチマークとベースライン評価を行う。
95人の被験者からなる3648個の三つ子(プローブ,配偶子,非配偶子)のキュレートしたセットである「インペイントゲーム」と呼ばれる新しい評価プロトコルを定義した。
探索画像内のどの領域が交配画像と一致しているかを最もよく説明するネットワークアテンションマップを生成するための説明可能なフェイスマーカを課題とする。
論文 参考訳（メタデータ） (2020-08-03T14:47:51Z) - Domain Embedded Multi-model Generative Adversarial Networks for
Image-based Face Inpainting [44.598234654270584]
そこで本研究では,大規模刈り取り領域で顔画像の塗布を行うためのドメイン組込み多モデル生成逆数モデルを提案する。
CelebAとCelebA-HQの両方の顔データセットに対する実験により、提案手法が最先端の性能を達成したことを示す。
論文 参考訳（メタデータ） (2020-02-05T17:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。