論文の概要: Identity-Guided Face Generation with Multi-modal Contour Conditions
- arxiv url: http://arxiv.org/abs/2110.04854v1
- Date: Sun, 10 Oct 2021 17:08:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 18:03:41.436164
- Title: Identity-Guided Face Generation with Multi-modal Contour Conditions
- Title(参考訳): マルチモーダル輪郭条件を用いたアイデンティティ誘導顔生成
- Authors: Qingyan Bai, Weihao Xia, Fei Yin, Yujiu Yang
- Abstract要約: 本稿では、輪郭と、入力として同一性を指定する余分な画像を取得するフレームワークを提案する。
アイデンティティエンコーダは、主エンコーダを伴ってアイデンティティ関連特徴を抽出し、粗い輪郭情報を得る。
提案手法は1024$times$1024の解像度で写真リアルな結果が得られる。
- 参考スコア(独自算出の注目度): 15.84849740726513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent face generation methods have tried to synthesize faces based on the
given contour condition, like a low-resolution image or a sketch. However, the
problem of identity ambiguity remains unsolved, which usually occurs when the
contour is too vague to provide reliable identity information (e.g., when its
resolution is extremely low). In this work, we propose a framework that takes
the contour and an extra image specifying the identity as the inputs, where the
contour can be of various modalities, including the low-resolution image,
sketch, and semantic label map. This task especially fits the situation of
tracking the known criminals or making intelligent creations for entertainment.
Concretely, we propose a novel dual-encoder architecture, in which an identity
encoder extracts the identity-related feature, accompanied by a main encoder to
obtain the rough contour information and further fuse all the information
together. The encoder output is iteratively fed into a pre-trained StyleGAN
generator until getting a satisfying result. To the best of our knowledge, this
is the first work that achieves identity-guided face generation conditioned on
multi-modal contour images. Moreover, our method can produce photo-realistic
results with 1024$\times$1024 resolution. Code will be available at
https://git.io/Jo4yh.
- Abstract(参考訳): 近年の顔生成法では,低解像度画像やスケッチなど,与えられた輪郭条件に基づいて顔の合成が試みられている。
しかし、アイデンティティの曖昧さの問題は未解決のままであり、通常は輪郭が曖昧すぎて信頼できるアイデンティティ情報を提供できない場合(例えば、その解像度が極端に低い場合)に発生する。
本研究では,輪郭を入力とし,その輪郭を低解像度画像,スケッチ,意味的ラベルマップなど,様々なモダリティの輪郭を表現できる,輪郭と余分な画像を入力として取り出す枠組みを提案する。
このタスクは、既知の犯罪者を追跡したり、エンターテイメントのためのインテリジェントな創造を行う状況に特に適合する。
具体的には、IDエンコーダが主エンコーダを伴ってアイデンティティ関連の特徴を抽出し、粗い輪郭情報を取得し、さらに全ての情報を融合する新しいデュアルエンコーダアーキテクチャを提案する。
エンコーダ出力は、満足な結果が得られるまで、トレーニング済みのStyleGANジェネレータに繰り返し供給される。
我々の知る限りでは、これはマルチモーダル輪郭画像に条件付きID誘導顔生成を実現する最初の作品である。
さらに、1024$\times$1024の解像度で写真実写的な結果が得られる。
コードはhttps://git.io/jo4yhで入手できる。
関連論文リスト
- StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。
私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
論文 参考訳(メタデータ) (2024-01-29T09:06:15Z) - HFORD: High-Fidelity and Occlusion-Robust De-identification for Face
Privacy Protection [60.63915939982923]
顔の身元特定は、身元保護問題を解決するための実践的な方法である。
既存の顔の特定方法にはいくつかの問題がある。
これらの問題に対処するために,HFORD(High-Fidelity and Occlusion-Robust De-identification)法を提案する。
論文 参考訳(メタデータ) (2023-11-15T08:59:02Z) - Semantics-Guided Object Removal for Facial Images: with Broad
Applicability and Robust Style Preservation [29.162655333387452]
顔画像における物体の除去と画像の塗布は、顔画像を妨げる物体を特に標的にし、除去し、適切に再構成された顔画像に置き換えるタスクである。
U-netと変調ジェネレータを利用する2つの異なるアプローチは、それぞれに固有の利点があるが、それぞれの手法の固有の欠点にもかかわらず、このタスクに対して広く支持されている。
本稿では,SGIN(Semantics-Guided Inpainting Network)を提案する。
論文 参考訳(メタデータ) (2022-09-29T00:09:12Z) - High-resolution Face Swapping via Latent Semantics Disentanglement [50.23624681222619]
本稿では,事前学習したGANモデルの事前知識を用いた,新しい高分解能幻覚顔交換法を提案する。
我々は、ジェネレータの進行的な性質を利用して、潜在意味論を明示的に解き放つ。
我々は,2時間制約を潜時空間と画像空間に課すことにより,映像面スワップに拡張する。
論文 参考訳(メタデータ) (2022-03-30T00:33:08Z) - Learning Disentangled Representation for One-shot Progressive Face
Swapping [65.98684203654908]
ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。
提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。
その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-24T11:19:04Z) - Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。
提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。
本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
論文 参考訳(メタデータ) (2022-03-18T01:42:59Z) - A Systematical Solution for Face De-identification [6.244117712209321]
異なるタスクにおいて、人々は顔の特定(De-ID)に様々な要件を持つ
本稿では,これらのDe-ID操作に適合する系統的解を提案する。
本手法は,様々な方法で顔データを柔軟に識別し,画像の画質が向上する。
論文 参考訳(メタデータ) (2021-07-19T02:02:51Z) - ShapeEditer: a StyleGAN Encoder for Face Swapping [6.848723869850855]
本研究では,高解像度,リアル,高忠実な顔交換のための新しいエンコーダであるShapeEditorを提案する。
私たちのキーとなるアイデアは、事前訓練された高品質のランダムな顔画像生成装置、すなわちStyleGANをバックボーンとして使用することです。
そこで我々は,StyleGANの潜在空間への写像を学習するために,自己教師付き損失関数の集合を提案する。
論文 参考訳(メタデータ) (2021-06-26T09:38:45Z) - High-Fidelity and Arbitrary Face Editing [46.40847958602942]
サイクル一貫性は顔編集に広く使われている。
HifaFaceというシンプルで効果的な方法を提案します。
提案するフレームワークを利用して,高精度かつ任意の顔編集を実現する。
論文 参考訳(メタデータ) (2021-03-29T17:59:50Z) - Realistic Face Reenactment via Self-Supervised Disentangling of Identity
and Pose [23.211318473026243]
本研究では,大量の未収録映像を自然に再現する自己教師型ハイブリッドモデル(DAE-GAN)を提案する。
提案手法は,2つのデフォーミングオートエンコーダと条件生成の最新の進歩を組み合わせたものである。
実験の結果,再現された画像の良好な品質と,同一性間での顔の動きの伝達の柔軟性が示された。
論文 参考訳(メタデータ) (2020-03-29T06:45:17Z) - Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。
我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。
CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
論文 参考訳(メタデータ) (2020-01-12T05:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。