論文の概要: Universal Face Restoration With Memorized Modulation

• arxiv url: http://arxiv.org/abs/2110.01033v1
• Date: Sun, 3 Oct 2021 15:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:32:34.146130
• Title: Universal Face Restoration With Memorized Modulation
• Title（参考訳）: 記憶変調によるユニバーサル顔復元
• Authors: Jia Li, Huaibo Huang, Xiaofei Jia, Ran He
• Abstract要約: 本稿では,ユニバーサルブラインド顔修復(BFR)のための記憶変調(RMM)フレームワークを提案する。 ランダムノイズと教師なしウェーブレットメモリを適用し、顔強調生成装置を適応的に変調する。 実験により,提案手法が最先端の手法と比較して優れていること,野生における優れた一般化が示された。
• 参考スコア（独自算出の注目度）: 73.34750780570909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blind face restoration (BFR) is a challenging problem because of the uncertainty of the degradation patterns. This paper proposes a Restoration with Memorized Modulation (RMM) framework for universal BFR in diverse degraded scenes and heterogeneous domains. We apply random noise as well as unsupervised wavelet memory to adaptively modulate the face-enhancement generator, considering attentional denormalization in both layer and instance levels. Specifically, in the training stage, the low-level spatial feature embedding, the wavelet memory embedding obtained by wavelet transformation of the high-resolution image, as well as the disentangled high-level noise embeddings are integrated, with the guidance of attentional maps generated from layer normalization, instance normalization, and the original feature map. These three embeddings are respectively associated with the spatial content, high-frequency texture details, and a learnable universal prior against other blind image degradation patterns. We store the spatial feature of the low-resolution image and the corresponding wavelet style code as key and value in the memory unit, respectively. In the test stage, the wavelet memory value whose corresponding spatial key is the most matching with that of the inferred image is retrieved to modulate the generator. Moreover, the universal prior learned from the random noise has been memorized by training the modulation network. Experimental results show the superiority of the proposed method compared with the state-of-the-art methods, and a good generalization in the wild.
• Abstract（参考訳）: ブラインドフェース修復(BFR)は劣化パターンの不確実性のため難しい問題である。 本稿では,多種多様な劣化シーンと異種領域における普遍的BFRのためのRelete with Memorized Modulation (RMM)フレームワークを提案する。 ランダムノイズと教師なしウェーブレットメモリを適用し,各層とインスタンスレベルの注意欠陥を考慮し,フェイスエンハンスメントジェネレータを適応的に変調する。 具体的には、訓練段階では、低レベル空間特徴埋め込み、高分解能画像のウェーブレット変換により得られたウェーブレットメモリ埋め込み、及び不連続な高レベルノイズ埋め込みを、層正規化、インスタンス正規化、元の特徴マップから生成される注意マップのガイダンスと一体化する。 これら3つの埋め込みは、それぞれ、空間的内容、高周波テクスチャ詳細、学習可能な普遍的プリエントと、他のブラインド画像劣化パターンに関連付けられる。 低解像度画像の空間的特徴と対応するウェーブレットスタイルのコードをそれぞれメモリユニットにキーと値として格納する。 テスト段階では、対応する空間キーが推論画像と最も一致するウェーブレットメモリ値を検索して、ジェネレータを変調する。 さらに、ランダムノイズから得られる普遍的な事前学習は、変調ネットワークのトレーニングによって記憶されている。 実験の結果,提案手法は最先端手法に比べて優れており,野生での一般化も良好であることがわかった。

関連論文リスト

• AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
  周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。 我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。 提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:58:14Z)
• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
  パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。 本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
  論文  参考訳（メタデータ） (2024-01-04T08:58:25Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
  WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。 WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。 低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
  論文  参考訳（メタデータ） (2021-07-23T04:44:40Z)
• Learning Omni-frequency Region-adaptive Representations for Real Image Super-Resolution [37.74756727980146]
  リアル画像のスーパーレゾリューション(RealSR)問題を解決する鍵は、インフォメーティブでコンテンツアウェアな機能表現の学習にあります。 本稿では,両課題に対処するOmni- frequency Region-Adaptive Network (ORNet)を提案する。
  論文  参考訳（メタデータ） (2020-12-11T05:17:38Z)
• Non-local Meets Global: An Iterative Paradigm for Hyperspectral Image Restoration [66.68541690283068]
  ハイパースペクトル画像復元のための空間特性とスペクトル特性を組み合わせた統一パラダイムを提案する。 提案するパラダイムは,非局所空間デノゲーションと光計算の複雑さから,性能上の優位性を享受する。 HSI復調、圧縮再構成、塗装タスクの実験は、シミュレーションと実際のデータセットの両方で、その優位性を示している。
  論文  参考訳（メタデータ） (2020-10-24T15:53:56Z)
• Generalized Octave Convolutions for Learned Multi-Frequency Image Compression [20.504561050200365]
  本稿では,初めて学習されたマルチ周波数画像圧縮とエントロピー符号化手法を提案する。 これは最近開発されたオクターブの畳み込みに基づいて、潜水剤を高周波(高分解能)成分に分解する。 提案した一般化オクターブ畳み込みは、他のオートエンコーダベースのコンピュータビジョンタスクの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-24T01:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。