論文の概要: Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training
- arxiv url: http://arxiv.org/abs/2009.06053v1
- Date: Sun, 13 Sep 2020 18:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 03:18:20.518340
- Title: Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training
- Title(参考訳): Pairwise-GAN:Pair-Wiseトレーニングによる視点合成
- Authors: Xuyang Shen, Jo Plested, Yue Yao, Tom Gedeon
- Abstract要約: 正面顔合成における画素変換,Pix2Pix,CycleGANの2つのモデルの性能について検討した。
顔合成における新しいネットワークPairwise-GANを提案する。
その結果, Pix2Pixでは, L1損失, 勾配差損失, アイデンティティ損失が2.72%改善した。
- 参考スコア(独自算出の注目度): 6.734570216054076
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Three-dimensional face reconstruction is one of the popular applications in
computer vision. However, even state-of-the-art models still require frontal
face as inputs, which restricts its usage scenarios in the wild. A similar
dilemma also happens in face recognition. New research designed to recover the
frontal face from a single side-pose facial image has emerged. The
state-of-the-art in this area is the Face-Transformation generative adversarial
network, which is based on the CycleGAN. This inspired our research which
explores the performance of two models from pixel transformation in frontal
facial synthesis, Pix2Pix and CycleGAN. We conducted the experiments on five
different loss functions on Pix2Pix to improve its performance, then followed
by proposing a new network Pairwise-GAN in frontal facial synthesis.
Pairwise-GAN uses two parallel U-Nets as the generator and PatchGAN as the
discriminator. The detailed hyper-parameters are also discussed. Based on the
quantitative measurement by face similarity comparison, our results showed that
Pix2Pix with L1 loss, gradient difference loss, and identity loss results in
2.72% of improvement at average similarity compared to the default Pix2Pix
model. Additionally, the performance of Pairwise-GAN is 5.4% better than the
CycleGAN and 9.1% than the Pix2Pix at average similarity.
- Abstract(参考訳): 3次元顔再構成はコンピュータビジョンにおける一般的な応用の1つである。
しかし、最先端のモデルでさえ、入力として正面の顔を必要とするため、野生では使用シナリオが制限される。
同様のジレンマは顔認識でも起こる。
顔の前面を1つの側面像から復元する新しい研究が登場した。
この領域の最先端は、CycleGANに基づくFace-Transformation生成敵ネットワークである。
これにより,前頭顔面合成における画素変換,Pix2Pix,CycleGANの2つのモデルの性能について検討した。
Pix2Pixの5種類の損失関数について実験を行い,その性能向上と,前頭顔面合成における新しいネットワークPairwise-GANの提案を行った。
Pairwise-GANはジェネレータとして2つの並列U-Net、識別器としてPatchGANを使用する。
詳細なハイパーパラメータについても論じる。
顔類似度比較による定量的測定の結果, Pix2PixのL1損失, 勾配差損失, アイデンティティ損失は, デフォルトのPix2Pixモデルと比較して平均類似度で2.72%改善した。
さらに、Pairwise-GANの性能はCycleGANより5.4%、Pix2Pixより9.1%向上している。
関連論文リスト
- SymFace: Additional Facial Symmetry Loss for Deep Face Recognition [1.5612101323427952]
本研究では,顔認証問題における顔対称性の自然現象について検討する。
分割面の2つの出力埋め込みベクトルは、出力埋め込み空間において互いに近接して射影しなければならないことを示す。
この概念に触発されて、対称的な2対の分割面の埋め込みの相違に基づいて、ネットワークをペナルティ化する。
論文 参考訳(メタデータ) (2024-09-18T09:06:55Z) - Benchmarking Human Face Similarity Using Identical Twins [5.93228031688634]
自動顔認識(FR)アプリケーションにおいて、双子の双子と双子以外の見た目を区別する問題はますます重要になっている。
この研究は、2つのFR課題に対処するために、これまでにコンパイルされた最大のツインデータセットの1つを応用したものである。
論文 参考訳(メタデータ) (2022-08-25T01:45:02Z) - Blind Face Restoration: Benchmark Datasets and a Baseline Model [63.053331687284064]
Blind Face Restoration (BFR) は、対応する低品質 (LQ) 入力から高品質 (HQ) の顔画像を構築することを目的としている。
EDFace-Celeb-1M (BFR128) と EDFace-Celeb-150K (BFR512) と呼ばれる2つのブラインドフェイス復元ベンチマークデータセットを最初に合成する。
最先端の手法は、ブラー、ノイズ、低解像度、JPEG圧縮アーティファクト、それらの組み合わせ(完全な劣化)の5つの設定でベンチマークされる。
論文 参考訳(メタデータ) (2022-06-08T06:34:24Z) - FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment [28.83743270895698]
顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。
従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な被験者交換方式を提案する。
顔の表情や表情の変化を調整し、単一の画像やビデオシーケンスに適用できる、新しい反復的深層学習に基づく顔の再現手法を導出する。
映像系列に対しては,再現性,デラウネー三角測量,バリ座標に基づく連続的な顔ビューの認識を導入し,顔領域をフェースコンプリートネットワークで処理する。
論文 参考訳(メタデータ) (2022-02-25T21:04:39Z) - FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer
Using Neural Generative Adversarial Networks [0.7043489166804575]
顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。
本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
論文 参考訳(メタデータ) (2021-12-01T14:42:03Z) - Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
Inpainting Generative Adversarial Network, Pro-UIGANを提案する。
顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。
Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-08-02T02:29:24Z) - Heterogeneous Face Frontalization via Domain Agnostic Learning [74.86585699909459]
本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。
DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。
論文 参考訳(メタデータ) (2021-07-17T20:41:41Z) - Simultaneous Face Hallucination and Translation for Thermal to Visible
Face Verification using Axial-GAN [74.22129648654783]
低分解能熱画像から熱可視面検証のタスクを紹介します。
本稿では,Axial-Generative Adversarial Network (Axial-GAN)を提案する。
論文 参考訳(メタデータ) (2021-04-13T22:34:28Z) - Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition [61.87842307164351]
まず,画像生成ネットワークの監視に新たな知覚損失を適用したIACycleGAN(Identity-Aware CycleGAN)モデルを提案する。
眼や鼻などの重要な顔領域の合成により多くの注意を払うことで、フォトエッチング合成におけるサイクガンを改善する。
IACycleGANによる画像の合成を反復的に行う合成モデルと認識モデルとの相互最適化手法を開発した。
論文 参考訳(メタデータ) (2021-03-30T01:30:08Z) - Masked Linear Regression for Learning Local Receptive Fields for Facial
Expression Synthesis [10.28711904929932]
本稿では,表情の局所的およびスパース的構造を利用したリッジ回帰の制約付きバージョンを提案する。
既存のアプローチとは対照的に,提案手法はより大きな画像サイズで効率的に訓練することができる。
提案アルゴリズムは、Pix2Pix, CycleGAN, StarGAN, GANimationなどの最先端のGANと比較される。
論文 参考訳(メタデータ) (2020-11-18T06:04:24Z) - Multi-Margin based Decorrelation Learning for Heterogeneous Face
Recognition [90.26023388850771]
本稿では,超球面空間におけるデコリレーション表現を抽出するディープニューラルネットワーク手法を提案する。
提案するフレームワークは,不均一表現ネットワークとデコリレーション表現学習の2つのコンポーネントに分けることができる。
2つの難解な異種顔データベースに対する実験結果から,本手法は検証タスクと認識タスクの両方において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-05-25T07:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。