論文の概要: ENTED: Enhanced Neural Texture Extraction and Distribution for
Reference-based Blind Face Restoration
- arxiv url: http://arxiv.org/abs/2401.06978v1
- Date: Sat, 13 Jan 2024 04:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 20:34:02.082980
- Title: ENTED: Enhanced Neural Texture Extraction and Distribution for
Reference-based Blind Face Restoration
- Title(参考訳): ented:参照ベースブラインドフェース修復のための拡張された神経テクスチャ抽出と分布
- Authors: Yuen-Fui Lau, Tianjia Zhang, Zhefan Rao, Qifeng Chen
- Abstract要約: 我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。
劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。
われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
- 参考スコア(独自算出の注目度): 51.205673783866146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present ENTED, a new framework for blind face restoration that aims to
restore high-quality and realistic portrait images. Our method involves
repairing a single degraded input image using a high-quality reference image.
We utilize a texture extraction and distribution framework to transfer
high-quality texture features between the degraded input and reference image.
However, the StyleGAN-like architecture in our framework requires high-quality
latent codes to generate realistic images. The latent code extracted from the
degraded input image often contains corrupted features, making it difficult to
align the semantic information from the input with the high-quality textures
from the reference. To overcome this challenge, we employ two special
techniques. The first technique, inspired by vector quantization, replaces
corrupted semantic features with high-quality code words. The second technique
generates style codes that carry photorealistic texture information from a more
informative latent space developed using the high-quality features in the
reference image's manifold. Extensive experiments conducted on synthetic and
real-world datasets demonstrate that our method produces results with more
realistic contextual details and outperforms state-of-the-art methods. A
thorough ablation study confirms the effectiveness of each proposed module.
- Abstract(参考訳): 本稿では,高品質かつリアルなポートレート画像の復元を目的とした,ブラインドフェイス復元のための新たなフレームワークであるentedを提案する。
提案手法では,高品質な参照画像を用いて1つの劣化した入力画像を修復する。
テクスチャ抽出・配信フレームワークを用いて,劣化した入力と参照画像の間で高品質なテクスチャ特徴を伝達する。
しかし、我々のフレームワークのStyleGANライクなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
劣化した入力画像から抽出された潜在コードは、しばしば劣化した特徴を含んでおり、入力からのセマンティック情報と参照からの高品質なテクスチャとの整合が困難である。
この課題を克服するために、我々は2つの特別な技術を用いる。
最初のテクニックはベクトル量子化に触発され、腐敗したセマンティック機能を高品質のコード単語に置き換える。
第2の技術は、参照画像の多様体の高品質な特徴を用いて開発されたより有意義な潜在空間から、フォトリアリスティックなテクスチャ情報を運ぶスタイルコードを生成する。
合成および実世界のデータセット上で行った広範囲な実験により,本手法はよりリアルな文脈的詳細と最先端の手法を上回る結果が得られることが示された。
徹底的なアブレーション研究により,各モジュールの有効性が確認された。
関連論文リスト
- Neural Image Compression with Text-guided Encoding for both Pixel-level
and Perceptual Fidelity [19.570189604289197]
我々は,高知覚率と画素ワイド忠実度を両立させる新しいテキスト誘導画像圧縮アルゴリズムを開発した。
これにより、テキスト誘導生成モデルに基づく復号化を避けることができる。
提案手法は,人や機械が生成するキャプションを用いて,高いピクセルレベルと知覚品質を実現する。
論文 参考訳(メタデータ) (2024-03-05T13:15:01Z) - Multi-Modality Deep Network for JPEG Artifacts Reduction [33.02405073842042]
テキスト誘導JPEGアーティファクト削減のためのマルチモーダル融合学習法を提案する。
提案手法は,最先端の手法と比較して,より優れたデブロッキング結果が得られる。
論文 参考訳(メタデータ) (2023-05-04T11:54:02Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural
Images [59.71861772648853]
我々は,最先端拡散モデルにより生成された偽画像の正当性に関する体系的研究を開拓した。
我々の分析は、偽画像は共通の低レベルな手がかりを共有しており、容易に認識できることを示している。
本設定では,偽検出手法の性能を定量的に評価し,コントラッシブ・ベース・ディエンタング・ストラテジーを導入する。
論文 参考訳(メタデータ) (2023-04-02T10:25:09Z) - Semantic Image Translation for Repairing the Texture Defects of Building
Models [16.764719266178655]
本稿では, ファサードテクスチャ画像の合成手法を提案する。
提案手法は,既存のテクスチャを欠いたファッケードに対して,テクスチャイメージを特定のスタイルで合成することも可能である。
論文 参考訳(メタデータ) (2023-03-30T14:38:53Z) - Unsupervised Structure-Consistent Image-to-Image Translation [6.282068591820945]
Swapping Autoencoderは、ディープイメージ操作と画像から画像への変換において最先端のパフォーマンスを達成した。
我々は、勾配反転層に基づく単純で効果的な補助モジュールを導入することにより、この作業を改善する。
補助モジュールの損失は、ジェネレータが全ゼロテクスチャコードでイメージを再構築することを学ぶことを強制する。
論文 参考訳(メタデータ) (2022-08-24T13:47:15Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z) - Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
画像マッチングにおける意味論と細部の役割について検討する。
本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。
総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
論文 参考訳(メタデータ) (2020-10-30T10:57:13Z) - Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。
提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。
DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
論文 参考訳(メタデータ) (2020-05-26T02:33:21Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳(メタデータ) (2020-03-27T21:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。