論文の概要: RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs

• arxiv url: http://arxiv.org/abs/2308.07228v1
• Date: Mon, 14 Aug 2023 16:04:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 12:38:32.130560
• Title: RestoreFormer++: Towards Real-World Blind Face Restoration from Undegraded Key-Value Pairs
• Title（参考訳）: RestoreFormer++: 劣化しないキーバリューペアから現実のブラインド顔の復元を目指す
• Authors: Zhouxia Wang, Jiawei Zhang, Tianshui Chen, Wenping Wang, and Ping Luo
• Abstract要約: ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。 現在のアルゴリズムは、主に、高品質な詳細を補完し、驚くべき進歩を達成するために、事前を導入する。 RestoreFormer++を提案する。これは、コンテキスト情報と事前との相互作用をモデル化するための、完全な空間的アテンション機構を導入します。 RestoreFormer++は、合成と実世界の両方のデータセットで最先端のアルゴリズムより優れています。
• 参考スコア（独自算出の注目度）: 63.991802204929485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind face restoration aims at recovering high-quality face images from those with unknown degradations. Current algorithms mainly introduce priors to complement high-quality details and achieve impressive progress. However, most of these algorithms ignore abundant contextual information in the face and its interplay with the priors, leading to sub-optimal performance. Moreover, they pay less attention to the gap between the synthetic and real-world scenarios, limiting the robustness and generalization to real-world applications. In this work, we propose RestoreFormer++, which on the one hand introduces fully-spatial attention mechanisms to model the contextual information and the interplay with the priors, and on the other hand, explores an extending degrading model to help generate more realistic degraded face images to alleviate the synthetic-to-real-world gap. Compared with current algorithms, RestoreFormer++ has several crucial benefits. First, instead of using a multi-head self-attention mechanism like the traditional visual transformer, we introduce multi-head cross-attention over multi-scale features to fully explore spatial interactions between corrupted information and high-quality priors. In this way, it can facilitate RestoreFormer++ to restore face images with higher realness and fidelity. Second, in contrast to the recognition-oriented dictionary, we learn a reconstruction-oriented dictionary as priors, which contains more diverse high-quality facial details and better accords with the restoration target. Third, we introduce an extending degrading model that contains more realistic degraded scenarios for training data synthesizing, and thus helps to enhance the robustness and generalization of our RestoreFormer++ model. Extensive experiments show that RestoreFormer++ outperforms state-of-the-art algorithms on both synthetic and real-world datasets.
• Abstract（参考訳）: ブラインド顔復元は、未知の劣化のあるものから高品質な顔画像の復元を目的としている。 現在のアルゴリズムは、主に高品質な詳細を補完し、印象的な進歩を達成するためにプリエントを導入する。 しかし、これらのアルゴリズムのほとんどは、顔の豊富な文脈情報を無視し、それ以前のものとの相互作用を無視し、準最適性能をもたらす。 さらに、合成シナリオと実世界のシナリオのギャップにはあまり注意を払わず、実世界のアプリケーションに対する堅牢性と一般化を制限する。 本研究では,RestoreFormer++を提案する。その一方で,コンテキスト情報と先行情報との相互作用をモデル化するための空間的アテンション機構を導入し,さらに,よりリアルに劣化した顔画像を生成するための拡張分解モデルを提案する。 現在のアルゴリズムと比較してrestoreformer++にはいくつかの重要なメリットがある。 まず、従来の視覚変換器のようなマルチヘッド自己注意機構の代わりに、マルチスケール機能に対するマルチヘッドクロスアテンションを導入し、劣化した情報と高品質な事前の空間的相互作用を十分に探求する。 このようにしてrestoreformer++は、よりリアルで忠実な顔画像を復元することができる。 第2に、認識指向辞書とは対照的に、より多様な高品質の顔の詳細と、より優れた復元ターゲットを含む、再構成指向辞書を事前学習する。 第3に、データ合成をトレーニングするためのより現実的な劣化シナリオを含む拡張分解モデルを導入し、RestoreFormer++モデルの堅牢性と一般化を強化するのに役立ちます。 広範な実験により、restoreformer++は、合成データと実世界のデータセットの両方で最先端のアルゴリズムよりも優れています。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
  本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。 MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。 5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-05T13:46:56Z)
• DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
  本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。 提案手法は,新しい最先端の知覚品質レベルを実現する。
  論文  参考訳（メタデータ） (2024-06-24T09:30:36Z)
• CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models [57.9771859175664]
  最近の生成優先法は、有望なブラインドフェイス修復性能を示している。 入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。 本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
  論文  参考訳（メタデータ） (2024-02-08T23:51:49Z)
• Towards Robust Blind Face Restoration with Codebook Lookup Transformer [94.48731935629066]
  ブラインドフェイスの修復は、しばしば補助的なガイダンスを必要とする非常に不適切な問題である。 学習した個別のコードブックを小さなプロキシ空間に配置し,ブラインドフェイスの復元をコード予測タスクとすることを示す。 我々は、低品質顔のグローバルな構成とコンテキストをモデル化するトランスフォーマーベースの予測ネットワーク、CodeFormerを提案する。
  論文  参考訳（メタデータ） (2022-06-22T17:58:01Z)
• Autoencoder for Synthetic to Real Generalization: From Simple to More Complex Scenes [13.618797548020462]
  我々は,自己エンコーダアーキテクチャに注目し,シミュレーション画像と実画像の領域シフトに起因する帰納的バイアスに不変な潜在空間表現の学習を目指す。 本稿では,視覚的複雑性が増大する実際のデータセットに対して,一般化可能性を高め,セマンティクスの保存を改善するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-01T12:23:41Z)
• RestoreFormer: High-Quality Blind Face Restoration From Undegraded Key-Value Pairs [48.33214614798882]
  RestoreFormerを提案する。これはコンテキスト情報をモデル化するための完全な空間的注意を探索する。 破損したクエリと高品質なキー-バリューペア間の完全な空間的相互作用を学習する。 1つの合成データセットと3つの実世界のデータセットにおいて、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-01-17T12:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。