論文の概要: GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors

• arxiv url: http://arxiv.org/abs/2203.07319v1
• Date: Mon, 14 Mar 2022 17:22:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-15 16:18:53.176261
• Title: GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors
• Title（参考訳）: GCFSR: 顔とGANを優先しない生成可能かつ制御可能な顔超解法
• Authors: Jingwen He, Wu Shi, Kai Chen, Lean Fu, Chao Dong
• Abstract要約: GCFSRは、生成可能で制御可能な顔SRフレームワークである。 これは、追加の事前情報なしで忠実なアイデンティティ情報でイメージを再構築する。 大規模なアップスケーリング要因に対する最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 23.74675310360883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face image super resolution (face hallucination) usually relies on facial priors to restore realistic details and preserve identity information. Recent advances can achieve impressive results with the help of GAN prior. They either design complicated modules to modify the fixed GAN prior or adopt complex training strategies to finetune the generator. In this work, we propose a generative and controllable face SR framework, called GCFSR, which can reconstruct images with faithful identity information without any additional priors. Generally, GCFSR has an encoder-generator architecture. Two modules called style modulation and feature modulation are designed for the multi-factor SR task. The style modulation aims to generate realistic face details and the feature modulation dynamically fuses the multi-level encoded features and the generated ones conditioned on the upscaling factor. The simple and elegant architecture can be trained from scratch in an end-to-end manner. For small upscaling factors (<=8), GCFSR can produce surprisingly good results with only adversarial loss. After adding L1 and perceptual losses, GCFSR can outperform state-of-the-art methods for large upscaling factors (16, 32, 64). During the test phase, we can modulate the generative strength via feature modulation by changing the conditional upscaling factor continuously to achieve various generative effects.
• Abstract（参考訳）: 顔画像の超解像(顔の幻覚)は、通常、現実的な詳細を復元し、アイデンティティ情報を保存するために顔の優先順位に依存する。 最近の進歩はgan priorの助けを借りて素晴らしい結果を得ることができる。 彼らは、固定されたGANを変更するために複雑なモジュールを設計するか、ジェネレータを微調整するために複雑なトレーニング戦略を採用する。 本稿では,GCFSRと呼ばれる生成可能かつ制御可能な顔SRフレームワークを提案する。 一般に、GCFSRはエンコーダ・ジェネレータアーキテクチャを持つ。 スタイル変調と特徴変調という2つのモジュールは多要素SRタスクのために設計されている。 スタイル変調は、リアルな顔の詳細を生成し、特徴変調は、マルチレベルエンコードされた特徴と、高スケーリング係数に基づく生成された特徴を動的に融合することを目的としている。 シンプルでエレガントなアーキテクチャは、エンドツーエンドでスクラッチからトレーニングすることができます。 小さいアップスケーリング因子 (=8) の場合, GCFSR は対向的損失のみで驚くほど良い結果が得られる。 L1と知覚的損失を加えた後、GCFSRは大きなアップスケーリング因子(16, 32, 64)に対して最先端の手法より優れている。 実験段階では,条件付拡大係数を連続的に変化させ,様々な生成効果を達成することにより,特徴変調により生成強度を調節できる。

関連論文リスト

• Specularity Factorization for Low-Light Enhancement [2.7961648901433134]
  本稿では,複数の潜伏成分からなる画像を扱う付加的な画像分解手法を提案する。 当社のモデル駆動型EM RSFNetは,最適化をネットワーク層に展開することで,これらの要因を推定する。 結果の因子は設計によって解釈可能であり、ネットワークを介して異なる画像強調タスクに融合したり、直接ユーザによって結合したりすることができる。
  論文  参考訳（メタデータ） (2024-04-02T14:41:42Z)
• Boosting Flow-based Generative Super-Resolution Models via Learned Prior [8.557017814978334]
  フローベース超解像(SR)モデルは、高品質な画像を生成する際に驚くべき能力を示した。 これらの手法は、グリッドアーティファクト、爆発する逆数、固定サンプリング温度による最適以下の結果など、画像生成中にいくつかの課題に遭遇する。 本研究では、フローベースSRモデルの推論フェーズ前に学習した条件を導入する。
  論文  参考訳（メタデータ） (2024-03-16T18:04:12Z)
• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)
• StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
  StyleSwapという簡潔で効果的なフレームワークを紹介します。 私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。 最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
  論文  参考訳（メタデータ） (2022-09-27T16:35:16Z)
• Latent Multi-Relation Reasoning for GAN-Prior based Image Super-Resolution [61.65012981435095]
  LARENはグラフベースの非絡み合いであり、階層的マルチリレーショナル推論によってより優れた非絡み合い空間を構築する。 我々は、LARENが優れた大因子画像SRを実現し、複数のベンチマークで常に最先端の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-08-04T19:45:21Z)
• CTCNet: A CNN-Transformer Cooperation Network for Face Image Super-Resolution [64.06360660979138]
  超解像課題に対する効率的なCNN-Transformer Cooperation Network (CTCNet)を提案する。 本稿ではまず,FSAUとTransformerブロックから構成されるLGCM(Local-Global Feature Cooperation Module)を考案した。 次に、エンコードされた機能を強化するために、効率的な機能リファインメントモジュール(FRM)を設計する。
  論文  参考訳（メタデータ） (2022-04-19T06:38:29Z)
• Decision Transformer: Reinforcement Learning via Sequence Modeling [102.86873656751489]
  本稿では,シーケンスモデリング問題として強化学習(RL)を抽象化するフレームワークを提案する。 本稿では,RLを条件付きシーケンスモデルとして扱うアーキテクチャであるDecision Transformerを提案する。 その単純さにもかかわらず、Decision Transformerは、Atari、OpenAI Gym、Key-to-Doorタスク上での最先端のオフラインRLベースラインのパフォーマンスと一致または超過する。
  論文  参考訳（メタデータ） (2021-06-02T17:53:39Z)
• Toward Interactive Modulation for Photo-Realistic Image Restoration [16.610981587637102]
  画像復元レベルの調整は、復元強度を表す因子を変更して復元画像を生成することを目指しています。 本稿では、変調タスクで高周波テクスチャを生成する制御可能なUnetGenerative Adversarial Network (CUGAN)を提案する。
  論文  参考訳（メタデータ） (2021-05-07T07:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。