論文の概要: VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder

• arxiv url: http://arxiv.org/abs/2205.06803v1
• Date: Fri, 13 May 2022 17:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 13:36:42.942779
• Title: VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder
• Title（参考訳）: VQFR:ベクトル量子辞書と並列デコーダによるブラインド顔復元
• Authors: Yuchao Gu, Xintao Wang, Liangbin Xie, Chao Dong, Gen Li, Ying Shan, Ming-Ming Cheng
• Abstract要約: 本稿では,VQFRを用いた顔復元手法を提案する。 VQFRは高品質な顔から抽出された高品質の低レベル特徴バンクを利用する。 VQコードブックから生成されたリアルな詳細を「汚染」せず、入力から低レベルな特徴をさらに融合させるため、並列デコーダを提案する。
• 参考スコア（独自算出の注目度）: 83.63843671885716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although generative facial prior and geometric prior have recently demonstrated high-quality results for blind face restoration, producing fine-grained facial details faithful to inputs remains a challenging problem. Motivated by the classical dictionary-based methods and the recent vector quantization (VQ) technique, we propose a VQ-based face restoration method -- VQFR. VQFR takes advantage of high-quality low-level feature banks extracted from high-quality faces and can thus help recover realistic facial details. However, the simple application of the VQ codebook cannot achieve good results with faithful details and identity preservation. Therefore, we further introduce two special network designs. 1). We first investigate the compression patch size in the VQ codebook and find that the VQ codebook designed with a proper compression patch size is crucial to balance the quality and fidelity. 2). To further fuse low-level features from inputs while not "contaminating" the realistic details generated from the VQ codebook, we proposed a parallel decoder consisting of a texture decoder and a main decoder. Those two decoders then interact with a texture warping module with deformable convolution. Equipped with the VQ codebook as a facial detail dictionary and the parallel decoder design, the proposed VQFR can largely enhance the restored quality of facial details while keeping the fidelity to previous methods. Codes will be available at https://github.com/TencentARC/VQFR.
• Abstract（参考訳）: 生成的顔前部と幾何学的前部は、最近、目隠し顔の復元に高品質な結果を示しているが、入力に忠実な細かい顔の詳細を作成することは難しい課題である。 古典辞書に基づく手法と最近のベクトル量子化(VQ)技術により,VQに基づく顔復元手法-VQFRを提案する。 vqfrは高品質の顔から抽出した高品質低レベル機能バンクを活用し、リアルな顔詳細を復元するのに役立つ。 しかしながら、VQコードブックの簡単な適用は、忠実な詳細とアイデンティティ保存によって良い結果を得ることはできない。 そこで我々はさらに2つの特別なネットワーク設計を導入する。 1). まず、VQコードブックの圧縮パッチサイズを調査し、適切な圧縮パッチサイズで設計されたVQコードブックが品質と忠実さのバランスをとるために重要であることを確認する。 2). VQコードブックから生成されたリアルな詳細を「汚染」せず、入力から低レベルの特徴をさらに融合させるため、テクスチャデコーダとメインデコーダからなる並列デコーダを提案する。 これら2つのデコーダは、変形可能な畳み込みを伴うテクスチャワープモジュールと対話する。 顔詳細辞書としてのvqコードブックと並列デコーダ設計を備えており、提案するvqfrは、従来の方法に忠実さを維持しつつ、顔詳細の復元品質を大きく向上させることができる。 コードはhttps://github.com/TencentARC/VQFRで入手できる。

関連論文リスト

• Prediction and Reference Quality Adaptation for Learned Video Compression [54.58691829087094]
  本研究では,空間的およびチャネル的予測品質差の明確な識別を行うために,信頼度に基づく予測品質適応(PQA)モジュールを提案する。 また、参照品質適応(RQA)モジュールと関連する繰り返し学習戦略を提案し、様々な参照品質のための動的空間変化フィルタを提供する。
  論文  参考訳（メタデータ） (2024-06-20T09:03:26Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization [40.1651740183975]
  ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。 SCQは微分凸最適化(DCO)層のように機能する。 CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:45:14Z)
• Finite Scalar Quantization: VQ-VAE Made Simple [26.351016719675766]
  我々は、VQ-VAEの潜在表現におけるベクトル量子化(VQ)を、有限スカラー量子化(FSQ)と呼ばれる単純なスキームで置き換えることを提案する。 それぞれの次元と値の数を適切に選択することにより、VQと同じコードブックサイズが得られる。 画像生成にはFSQとMaskGIT,深度推定にはUViMを用いる。
  論文  参考訳（メタデータ） (2023-09-27T09:13:40Z)
• Dual Associated Encoder for Face Restoration [68.49568459672076]
  低品質(LQ)画像から顔の詳細を復元するために,DAEFRという新しいデュアルブランチフレームワークを提案する。 提案手法では,LQ入力から重要な情報を抽出する補助的なLQ分岐を導入する。 合成と実世界の両方のデータセットに対するDAEFRの有効性を評価する。
  論文  参考訳（メタデータ） (2023-08-14T17:58:33Z)
• Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method [69.868145936998]
  生成的符号化アプローチは、合理的な速度歪曲トレードオフを持つ有望な代替手段として認識されている。 従来のハイブリッドコーディングフレームワークから生成モデルまで、空間的・時間的領域における歪みの多様さは、圧縮顔画像品質評価(VQA)における大きな課題を提示する。 大規模圧縮顔画像品質評価(CFVQA)データベースを導入し,顔ビデオの知覚的品質と多角化圧縮歪みを体系的に理解するための最初の試みである。
  論文  参考訳（メタデータ） (2023-04-14T11:26:09Z)
• Rethinking the Objectives of Vector-Quantized Tokenizers for Image Synthesis [30.654501418221475]
  本稿では,VQトークン化器の再構成精度の向上が,生成変換器の生成能力の向上に必ずしも寄与しないことを示す。 本稿では,2つの学習フェーズを持つセマンティック・量子化GAN (Semantic-Quantized GAN) を提案する。 我々のSeQ-GAN(364M)は6.25のFrechet Inception Distance(FID)と256x256 ImageNet生成の140.9のInception Score(IS)を達成する。
  論文  参考訳（メタデータ） (2022-12-06T17:58:38Z)
• Towards Robust Blind Face Restoration with Codebook Lookup Transformer [94.48731935629066]
  ブラインドフェイスの修復は、しばしば補助的なガイダンスを必要とする非常に不適切な問題である。 学習した個別のコードブックを小さなプロキシ空間に配置し,ブラインドフェイスの復元をコード予測タスクとすることを示す。 我々は、低品質顔のグローバルな構成とコンテキストをモデル化するトランスフォーマーベースの予測ネットワーク、CodeFormerを提案する。
  論文  参考訳（メタデータ） (2022-06-22T17:58:01Z)
• Progressive Semantic-Aware Style Transformation for Blind Face Restoration [26.66332852514812]
  顔の復元のために,PSFR-GAN という新しいプログレッシブ・セマンティック・アウェア・スタイルの変換フレームワークを提案する。 提案したPSFR-GANは、入力ペアの異なるスケールからのセマンティック(パーシングマップ)とピクセル(LQ画像)空間情報をフル活用する。 実験結果から, 合成LQ入力に対して, より現実的な高分解能な結果が得られるだけでなく, 自然なLQ顔画像の一般化にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2020-09-18T09:27:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。