論文の概要: Towards Robust Blind Face Restoration with Codebook Lookup Transformer

• arxiv url: http://arxiv.org/abs/2206.11253v1
• Date: Wed, 22 Jun 2022 17:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 15:34:00.569205
• Title: Towards Robust Blind Face Restoration with Codebook Lookup Transformer
• Title（参考訳）: Codebook Lookup Transformer を用いたロバストブラインド顔復元
• Authors: Shangchen Zhou, Kelvin C.K. Chan, Chongyi Li, Chen Change Loy
• Abstract要約: ブラインドフェイスの修復は、しばしば補助的なガイダンスを必要とする非常に不適切な問題である。 学習した個別のコードブックを小さなプロキシ空間に配置し,ブラインドフェイスの復元をコード予測タスクとすることを示す。 我々は、低品質顔のグローバルな構成とコンテキストをモデル化するトランスフォーマーベースの予測ネットワーク、CodeFormerを提案する。
• 参考スコア（独自算出の注目度）: 94.48731935629066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind face restoration is a highly ill-posed problem that often requires auxiliary guidance to 1) improve the mapping from degraded inputs to desired outputs, or 2) complement high-quality details lost in the inputs. In this paper, we demonstrate that a learned discrete codebook prior in a small proxy space largely reduces the uncertainty and ambiguity of restoration mapping by casting blind face restoration as a code prediction task, while providing rich visual atoms for generating high-quality faces. Under this paradigm, we propose a Transformer-based prediction network, named CodeFormer, to model global composition and context of the low-quality faces for code prediction, enabling the discovery of natural faces that closely approximate the target faces even when the inputs are severely degraded. To enhance the adaptiveness for different degradation, we also propose a controllable feature transformation module that allows a flexible trade-off between fidelity and quality. Thanks to the expressive codebook prior and global modeling, CodeFormer outperforms state of the arts in both quality and fidelity, showing superior robustness to degradation. Extensive experimental results on synthetic and real-world datasets verify the effectiveness of our method.
• Abstract（参考訳）: ブラインドフェイスの修復は、しばしば補助的な指導を必要とする非常に不適切な問題である 1)劣化した入力から所望の出力へのマッピングを改善するか 2)入力に失われた高品質な詳細を補完する。 本稿では,小さなプロキシ空間で学習された離散コードブックをコード予測タスクとしてブラインドフェース復元を行うことで,復元マッピングの不確かさと曖昧さを低減し,高品質な顔を生成するためのリッチな視覚原子を提供することを実証する。 このパラダイムの下では,コード予測のために,低品質の顔のグローバル構成とコンテキストをモデル化するcodeformerと呼ばれるトランスフォーマーベースの予測ネットワークを提案し,入力がひどく劣化しても対象の顔と密接に近似する自然顔の発見を可能にする。 異なる劣化に対する適応性を高めるため,我々は,忠実度と品質の柔軟なトレードオフを可能にする制御可能な特徴変換モジュールを提案する。 表現力のあるコードブックとグローバルモデリングのおかげで、CodeFormerは品質と忠実性の両方で芸術の状態を上回り、劣化に対して優れた堅牢性を示している。 合成データと実世界のデータセットの広範な実験結果から,本手法の有効性を確認した。

関連論文リスト

• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs [63.991802204929485]
  ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。 現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。 RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。 RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-08-14T16:04:53Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors [14.432465539590481]
  既存のデハジングアプローチは、ペアの実際のデータと堅牢な事前処理が欠如しているため、現実のハジーなイメージを処理するのに苦労している。 よりリアルなヘイズデータを合成する観点から、実画像のデハジングのための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-08T12:12:24Z)
• Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for Face Restoration [4.244692655670362]
  Panini-Netは、顔修復のための劣化認識機能ネットワークである。 抽象表現を学び、様々な劣化を区別する。 マルチ劣化顔復元と超解像のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-16T07:41:07Z)
• Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
  新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。 実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
  論文  参考訳（メタデータ） (2020-10-12T08:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。