論文の概要: Multiple Exemplars-based Hallucinationfor Face Super-resolution and
Editing
- arxiv url: http://arxiv.org/abs/2009.07827v3
- Date: Thu, 14 Jan 2021 09:55:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 00:32:01.906568
- Title: Multiple Exemplars-based Hallucinationfor Face Super-resolution and
Editing
- Title(参考訳): 顔のスーパーレゾリューションと編集のためのマルチエクセプラーに基づく幻覚
- Authors: Kaili Wang, Jose Oramas, Tinne Tuytelaars
- Abstract要約: 顔の低解像度な入力画像が与えられた場合,本論文の目的は,その高解像度版を再構成することである。
我々は、同じ人物の他の高解像度画像の集合である、模範の集合の使用について検討する。
複数の例から得られる情報を効果的に組み合わせるために,画素単位の重み生成モジュールを導入する。
- 参考スコア(独自算出の注目度): 38.257982713474874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a really low-resolution input image of a face (say 16x16 or 8x8
pixels), the goal of this paper is to reconstruct a high-resolution version
thereof. This, by itself, is an ill-posed problem, as the high-frequency
information is missing in the low-resolution input and needs to be
hallucinated, based on prior knowledge about the image content. Rather than
relying on a generic face prior, in this paper, we explore the use of a set of
exemplars, i.e. other high-resolution images of the same person. These guide
the neural network as we condition the output on them. Multiple exemplars work
better than a single one. To combine the information from multiple exemplars
effectively, we introduce a pixel-wise weight generation module. Besides
standard face super-resolution, our method allows to perform subtle face
editing simply by replacing the exemplars with another set with different
facial features. A user study is conducted and shows the super-resolved images
can hardly be distinguished from real images on the CelebA dataset. A
qualitative comparison indicates our model outperforms methods proposed in the
literature on the CelebA and WebFace dataset.
- Abstract(参考訳): 超低解像度の入力画像(例えば16x16または8x8ピクセル)が与えられた場合、本稿の目標は高解像度版を再構築することである。
これはそれ自体は、低解像度入力に高周波情報が欠落しており、画像内容に関する事前の知識に基づいて幻覚する必要があるため、不適切な問題である。
本論文では,前もってジェネリックな顔に頼るのではなく,同じ人物の高解像度画像など,一組の模範的イメージの利用を探求する。
これらは、出力を条件としてニューラルネットワークをガイドします。
複数の例題は1つよりもうまく機能します。
複数の例からの情報を効果的に結合するために,画素単位の重み生成モジュールを導入する。
標準の超精細度に加えて, 顔特徴の異なる別のセットに置き換えるだけで, 微妙な顔編集を行うことができる。
ユーザ調査を行い、celebaデータセット上の実画像とスーパー解決画像とを区別できないことを示す。
定性的比較は,celeba と webface データセットの文献で提案されている手法を上回っていることを示す。
関連論文リスト
- Face0: Instantaneously Conditioning a Text-to-Image Model on a Face [3.5150821092068383]
顔にテキスト・ツー・イメージ生成モデルを瞬時に条件付ける新しい方法であるFace0を提案する。
アノテーション付き画像のデータセットを包含した顔の埋め込みで拡張し、拡張データセット上で画像生成モデルを訓練する。
提案手法は, 極めてシンプルで, 極めて高速であり, 基礎となるモデルに新たな機能を持たせる。
論文 参考訳(メタデータ) (2023-06-11T09:52:03Z) - HIME: Efficient Headshot Image Super-Resolution with Multiple Exemplars [11.81364643562714]
本稿では,HIME(Multiple Exemplars Network)法を用いた高効率なヘッドショット画像超解法を提案する。
従来の手法と比較して,我々のネットワークは入力と参照のミスアライメントを効果的に処理できる。
また、制御可能な空間範囲における局所的なテクスチャのリッチな表現を提供する相関損失を提案する。
論文 参考訳(メタデータ) (2022-03-28T16:13:28Z) - Face sketch to photo translation using generative adversarial networks [1.0312968200748118]
我々は、訓練済みの顔画像生成モデルを用いて、高品質な自然顔写真を合成する。
入力スケッチから抽出した顔の特徴を、顔生成モデルの潜在空間のベクトルにマッピングするネットワークを訓練する。
提案モデルでは,SSIM指数で0.655,97.59%のランク-1顔認識率が得られた。
論文 参考訳(メタデータ) (2021-10-23T20:01:20Z) - LR-to-HR Face Hallucination with an Adversarial Progressive
Attribute-Induced Network [67.64536397027229]
顔の超解像は難しい問題であり、非常に不適切な問題である。
顔の特徴を取り入れたエンドツーエンドのプログレッシブ・ラーニング・フレームワークを提案する。
提案手法は,他の最先端アプローチよりも良好な顔幻覚像が得られることを示す。
論文 参考訳(メタデータ) (2021-09-29T19:50:45Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - High Resolution Face Editing with Masked GAN Latent Code Optimization [0.0]
顔の編集はコンピュータビジョンコミュニティで人気のある研究トピックである。
最近の提案手法は、条件付きエンコーダデコーダであるGAN(Generative Adversarial Network)をエンドツーエンドでトレーニングするか、事前に訓練されたバニラGANジェネレータモデルの潜時空間での動作を定義するかのいずれかである。
空間的および意味的制約を伴ったGAN組み込み最適化手順を提案する。
論文 参考訳(メタデータ) (2021-03-20T08:39:41Z) - Deep Learning-based Face Super-resolution: A Survey [78.11274281686246]
顔の超解像、別名顔の幻覚は、ドメイン固有のイメージの超解像問題です。
現在、深層学習に基づく顔の超解像に関する研究の要約は少ない。
本調査では,超解像面における深層学習の手法を体系的に総合的に検討する。
論文 参考訳(メタデータ) (2021-01-11T08:17:11Z) - Unsupervised Real Image Super-Resolution via Generative Variational
AutoEncoder [47.53609520395504]
古典的な例に基づく画像超解法を再考し、知覚的画像超解法のための新しい生成モデルを考案する。
本稿では,変分オートエンコーダを用いた共同画像デノベーションと超解像モデルを提案する。
判別器の助けを借りて、超分解能サブネットワークのオーバーヘッドを加味して、分解された画像をフォトリアリスティックな視覚的品質で超解凍する。
論文 参考訳(メタデータ) (2020-04-27T13:49:36Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2020-03-08T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。