論文の概要: Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for Face Restoration

• arxiv url: http://arxiv.org/abs/2203.08444v1
• Date: Wed, 16 Mar 2022 07:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:47:18.474939
• Title: Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for Face Restoration
• Title（参考訳）: Panini-Net: 顔修復のためのGAN事前劣化対応機能補間
• Authors: Yinhuai Wang, Yujie Hu, Jian Zhang
• Abstract要約: Panini-Netは、顔修復のための劣化認識機能ネットワークである。 抽象表現を学び、様々な劣化を区別する。 マルチ劣化顔復元と超解像のための最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 4.244692655670362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging high-quality face restoration (FR) methods often utilize pre-trained GAN models (\textit{i.e.}, StyleGAN2) as GAN Prior. However, these methods usually struggle to balance realness and fidelity when facing various degradation levels. Besides, there is still a noticeable visual quality gap compared with pre-trained GAN models. In this paper, we propose a novel GAN Prior based degradation-aware feature interpolation network, dubbed Panini-Net, for FR tasks by explicitly learning the abstract representations to distinguish various degradations. Specifically, an unsupervised degradation representation learning (UDRL) strategy is first developed to extract degradation representations (DR) of the input degraded images. Then, a degradation-aware feature interpolation (DAFI) module is proposed to dynamically fuse the two types of informative features (\textit{i.e.}, features from input images and features from GAN Prior) with flexible adaption to various degradations based on DR. Ablation studies reveal the working mechanism of DAFI and its potential for editable FR. Extensive experiments demonstrate that our Panini-Net achieves state-of-the-art performance for multi-degradation face restoration and face super-resolution. The source code is available at https://github.com/jianzhangcs/panini.
• Abstract（参考訳）: 改良された高品質の顔復元(FR)法は、事前訓練されたGANモデル(\textit{i.e.}, StyleGAN2)をGANプリミティブとして利用することが多い。 しかし、これらの方法は通常、様々な劣化レベルに直面した時に現実性と忠実さのバランスをとるのに苦労する。 さらに、事前訓練されたGANモデルと比較すると、目に見える品質差がある。 本稿では,様々な劣化を識別するために抽象表現を明示的に学習し,Panini-Netと呼ばれる新しいGAN先進分解対応特徴補間ネットワークを提案する。 具体的には、入力された劣化画像の劣化表現(DR)を抽出するために、教師なし分解表現学習(UDRL)戦略を最初に開発した。 次に,分解型特徴補間 (DAFI) モジュールを提案し, 2種類の情報的特徴 (\textit{i.e.}, 入力画像からの特徴, GAN前の特徴) をDRに基づく様々な劣化に柔軟に適応させて動的に融合させ, DAFIの動作機構と編集可能なFRの可能性を明らかにする。 大規模な実験により,パニーニネットは多段劣化面の復元と超解像のための最先端性能を達成できた。 ソースコードはhttps://github.com/jianzhangcs/paniniで入手できる。

関連論文リスト

• Degradation Oriented and Regularized Network for Blind Depth Super-Resolution [48.744290794713905]
  現実のシナリオでは、キャプチャーされた深度データは、センサーの制限や複雑な撮像環境のために、従来と変わらない劣化に悩まされることが多い。 本稿では,現実のシーンにおける未知の劣化に適応的に対処する新しいフレームワークであるDORNetを提案する。 提案手法は,低解像度深度データの劣化表現をモデル化した自己教師付き劣化学習戦略の開発から始まる。 効率的なRGB-D融合を容易にするために,学習した劣化先行情報に基づいて,RGBコンテンツを奥行きデータに選択的に伝播する劣化指向の特徴変換モジュールを導入する。
  論文  参考訳（メタデータ） (2024-10-15T14:53:07Z)
• DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
  本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。 提案手法は,新しい最先端の知覚品質レベルを実現する。
  論文  参考訳（メタデータ） (2024-06-24T09:30:36Z)
• Boosting Visual Recognition in Real-world Degradations via Unsupervised Feature Enhancement Module with Deep Channel Prior [22.323789227447755]
  霧、低照度、動きのぼかしは画像の品質を低下させ、自動運転の安全性を脅かす。 本研究は、劣化した視覚認識のための新しいDeep Channel Prior (DCP)を提案する。 これに基づいて、教師なし特徴補正を実現するために、新しいプラグアンドプレイunsupervised Feature Enhancement Module (UFEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-02T07:16:56Z)
• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
  新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。 実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
  論文  参考訳（メタデータ） (2020-10-12T08:04:24Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。