論文の概要: ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration

• arxiv url: http://arxiv.org/abs/2401.06978v1
• Date: Sat, 13 Jan 2024 04:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 20:34:02.082980
• Title: ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration
• Title（参考訳）: ented:参照ベースブラインドフェース修復のための拡張された神経テクスチャ抽出と分布
• Authors: Yuen-Fui Lau, Tianjia Zhang, Zhefan Rao, Qifeng Chen
• Abstract要約: 我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
• 参考スコア（独自算出の注目度）: 51.205673783866146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ENTED, a new framework for blind face restoration that aims to restore high-quality and realistic portrait images. Our method involves repairing a single degraded input image using a high-quality reference image. We utilize a texture extraction and distribution framework to transfer high-quality texture features between the degraded input and reference image. However, the StyleGAN-like architecture in our framework requires high-quality latent codes to generate realistic images. The latent code extracted from the degraded input image often contains corrupted features, making it difficult to align the semantic information from the input with the high-quality textures from the reference. To overcome this challenge, we employ two special techniques. The first technique, inspired by vector quantization, replaces corrupted semantic features with high-quality code words. The second technique generates style codes that carry photorealistic texture information from a more informative latent space developed using the high-quality features in the reference image's manifold. Extensive experiments conducted on synthetic and real-world datasets demonstrate that our method produces results with more realistic contextual details and outperforms state-of-the-art methods. A thorough ablation study confirms the effectiveness of each proposed module.
• Abstract（参考訳）: 本稿では,高品質かつリアルなポートレート画像の復元を目的とした,ブラインドフェイス復元のための新たなフレームワークであるentedを提案する。 提案手法では,高品質な参照画像を用いて1つの劣化した入力画像を修復する。 テクスチャ抽出・配信フレームワークを用いて,劣化した入力と参照画像の間で高品質なテクスチャ特徴を伝達する。 しかし、我々のフレームワークのStyleGANライクなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。 劣化した入力画像から抽出された潜在コードは、しばしば劣化した特徴を含んでおり、入力からのセマンティック情報と参照からの高品質なテクスチャとの整合が困難である。 この課題を克服するために、我々は2つの特別な技術を用いる。 最初のテクニックはベクトル量子化に触発され、腐敗したセマンティック機能を高品質のコード単語に置き換える。 第2の技術は、参照画像の多様体の高品質な特徴を用いて開発されたより有意義な潜在空間から、フォトリアリスティックなテクスチャ情報を運ぶスタイルコードを生成する。 合成および実世界のデータセット上で行った広範囲な実験により,本手法はよりリアルな文脈的詳細と最先端の手法を上回る結果が得られることが示された。 徹底的なアブレーション研究により,各モジュールの有効性が確認された。

関連論文リスト

• Toward Scalable Image Feature Compression: A Content-Adaptive and Diffusion-Based Approach [44.03561901593423]
  本稿では,スケーラブルな画像圧縮のためのコンテンツ適応拡散モデルを提案する。 提案手法は拡散過程を通じて微細なテクスチャを符号化し,知覚品質を向上する。 画像再構成および下流マシンビジョンタスクにおいて,提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-10-08T15:48:34Z)
• DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
  本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。 提案手法は,新しい最先端の知覚品質レベルを実現する。
  論文  参考訳（メタデータ） (2024-06-24T09:30:36Z)
• Multi-Modality Deep Network for JPEG Artifacts Reduction [33.02405073842042]
  テキスト誘導JPEGアーティファクト削減のためのマルチモーダル融合学習法を提案する。 提案手法は,最先端の手法と比較して,より優れたデブロッキング結果が得られる。
  論文  参考訳（メタデータ） (2023-05-04T11:54:02Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Semantic Image Translation for Repairing the Texture Defects of Building Models [16.764719266178655]
  本稿では, ファサードテクスチャ画像の合成手法を提案する。 提案手法は,既存のテクスチャを欠いたファッケードに対して,テクスチャイメージを特定のスタイルで合成することも可能である。
  論文  参考訳（メタデータ） (2023-03-30T14:38:53Z)
• Unsupervised Structure-Consistent Image-to-Image Translation [6.282068591820945]
  Swapping Autoencoderは、ディープイメージ操作と画像から画像への変換において最先端のパフォーマンスを達成した。 我々は、勾配反転層に基づく単純で効果的な補助モジュールを導入することにより、この作業を改善する。 補助モジュールの損失は、ジェネレータが全ゼロテクスチャコードでイメージを再構築することを学ぶことを強制する。
  論文  参考訳（メタデータ） (2022-08-24T13:47:15Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
  画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-10-30T10:57:13Z)
• Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
  RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。 提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2020-05-26T02:33:21Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。