論文の概要: Heavy Rain Face Image Restoration: Integrating Physical Degradation
Model and Facial Component Guided Adversarial Learning
- arxiv url: http://arxiv.org/abs/2204.08307v1
- Date: Mon, 18 Apr 2022 13:24:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 19:36:19.780005
- Title: Heavy Rain Face Image Restoration: Integrating Physical Degradation
Model and Facial Component Guided Adversarial Learning
- Title（参考訳）: 重雨顔画像復元:物理的劣化モデルと顔成分誘導学習の統合
- Authors: Chang-Hwan Son, Da-Hee Jeong
- Abstract要約: 本研究では,高分解能高雨面画像(LRHR-FI)から高分解能高雨面画像(HR-FI)を復元する手法を提案する。
解釈可能なIMMベースのネットワークは、雨天、送信マップ、大気光などの物理的パラメータを予測するために構築されている。
第2段階では、第1段階で出力されるLR-FIからHR-FIを再構築することを目的として、顔構造表現を促進するために、顔成分誘導対向学習(FCGAL)を適用する。
- 参考スコア（独自算出の注目度）: 5.051036968777244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the recent increase in intelligent CCTVs for visual surveillance, a new
image degradation that integrates resolution conversion and synthetic rain
models is required. For example, in heavy rain, face images captured by CCTV
from a distance have significant deterioration in both visibility and
resolution. Unlike traditional image degradation models (IDM), such as rain
removal and superresolution, this study addresses a new IDM referred to as a
scale-aware heavy rain model and proposes a method for restoring
high-resolution face images (HR-FIs) from low-resolution heavy rain face images
(LRHR-FI). To this end, a 2-stage network is presented. The first stage
generates low-resolution face images (LR-FIs), from which heavy rain has been
removed from the LRHR-FIs to improve visibility. To realize this, an
interpretable IDM-based network is constructed to predict physical parameters,
such as rain streaks, transmission maps, and atmospheric light. In addition,
the image reconstruction loss is evaluated to enhance the estimates of the
physical parameters. For the second stage, which aims to reconstruct the HR-FIs
from the LR-FIs outputted in the first stage, facial component guided
adversarial learning (FCGAL) is applied to boost facial structure expressions.
To focus on informative facial features and reinforce the authenticity of
facial components, such as the eyes and nose, a face-parsing-guided generator
and facial local discriminators are designed for FCGAL. The experimental
results verify that the proposed approach based on physical-based network
design and FCGAL can remove heavy rain and increase the resolution and
visibility simultaneously. Moreover, the proposed heavy-rain face image
restoration outperforms state-of-the-art models of heavy rain removal,
image-to-image translation, and superresolution.
- Abstract（参考訳）: 近年の視覚監視のためのインテリジェントcctvの増加に伴い、解像度変換と合成雨モデルを統合する新しい画像劣化が求められている。
例えば、大雨では、CCTVが遠くから捉えた顔画像は、視界と解像度の両方において著しく劣化する。
本研究は,降雨除去や超解像などの従来の画像劣化モデル(IDM)とは異なり,スケールアウェア重雨モデルと呼ばれる新しいIDMに対処し,高分解能重雨面画像(LRHR-FI)から高分解能顔画像(HR-FI)を復元する方法を提案する。
この目的のために、2段ネットワークを提示する。
第1段では低解像度の顔画像(LR-FI)が生成され、大雨がLRHR-FIから除去され視界が向上した。
これを実現するために、解釈可能なIMMベースのネットワークを構築し、雨天、透過マップ、大気光などの物理パラメータを予測する。
さらに、物理パラメータの推定量を高めるために、画像再構成損失を評価する。
第2段階では、第1段階で出力されるLR-FIからHR-FIを再構築することを目的として、顔構造表現を促進するために、顔成分誘導対向学習(FCGAL)を適用する。
顔の特徴に焦点を合わせ、目や鼻などの顔成分の真正性を強化するために、FCGAL用に顔駐車誘導ジェネレータと顔局所判別器を設計する。
実験により,物理ネットワーク設計とFCGALに基づく提案手法が豪雨を除去し,解像度と可視性を同時に向上できることを確認した。
さらに, 提案手法は, 降雨除去, 画像から画像への変換, 超解像の最先端モデルよりも優れていた。
関連論文リスト
- W-Net: A Facial Feature-Guided Face Super-Resolution Network [8.037821981254389]
Face Super-Resolutionは、高解像度 (HR) の顔画像を低解像度 (LR) の顔画像から復元することを目的としている。
既存手法は, 再建効率が低く, 事前情報の利用が不十分であるため, 理想的ではない。
本稿では,この課題に対処するため,W-Netと呼ばれる新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-06-02T09:05:40Z) - Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified
Removal of Raindrops and Rain Streaks [17.00078021737863]
実際の世界では、雨による画像劣化は、しばしば雨害と雨滴の組み合わせを示し、それによって根底にあるクリーンなイメージを回復する課題が増大する。
本稿は,グローバルな視点における劣化関係を学習し,モデル化するための,効率的かつ柔軟なメカニズムを提案することを目的とする。
論文 参考訳（メタデータ） (2023-08-27T16:33:11Z) - PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with
Dual-Discriminators [120.06891448820447]
鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。
水中画像強調(UIE)の課題も、時間とともに現れた。
本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。
我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
論文 参考訳（メタデータ） (2023-06-15T07:41:12Z) - LTT-GAN: Looking Through Turbulence by Inverting GANs [86.25869403782957]
本稿では,よく訓練されたGANによってカプセル化された視覚的事前情報を利用した最初の乱流緩和手法を提案する。
視覚的先行性に基づき、周期的な文脈距離で復元された画像の同一性を維持することを学ぶことを提案する。
本手法は, 回復した結果の視覚的品質と顔認証精度の両方において, 先行技術よりも優れていた。
論文 参考訳（メタデータ） (2021-12-04T16:42:13Z) - Frequency-Aware Physics-Inspired Degradation Model for Real-World Image
Super-Resolution [18.328806055594576]
両光およびセンサ劣化を考慮した実世界の物理インスパイアされた劣化モデルについて定式化する。
我々は、畳み込みニューラルネットワーク(CNN)を用いて、現実世界の劣化過程の遮断周波数を学習することを提案する。
異なる撮像システムで撮像した実世界の画像に対して,提案した劣化モデルの有効性と一般化能力を評価する。
論文 参考訳（メタデータ） (2021-11-05T07:30:00Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z) - Network Architecture Search for Face Enhancement [82.25775020564654]
我々は、NASFE(Network Architecture Search for Face Enhancement)と呼ばれるマルチタスクの顔復元ネットワークを提案する。
NASFEは、単一の劣化(すなわち)を含む低品質の顔画像を高めることができる。
ノイズまたはぼやけ)または複数の劣化(ノイズ+ブラル+ローライト)
論文 参考訳（メタデータ） (2021-05-13T19:46:05Z) - Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs [93.72048616001064]
このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。
乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
論文 参考訳（メタデータ） (2020-07-16T15:25:08Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳（メタデータ） (2020-05-12T09:55:53Z) - Joint Face Completion and Super-resolution using Multi-scale Feature
Relation Learning [26.682678558621625]
本稿では,MFG-GAN(MFG-GAN)を用いたマルチスケール機能グラフ生成手法を提案する。
GANに基づいて、MFG-GANはグラフ畳み込みとピラミッドネットワークを統合し、隠蔽された低解像度の顔画像を非隠蔽の高解像度の顔画像に復元する。
パブリックドメインCelebAとHelenデータベースの実験結果から,提案手法は顔超解像(最大4倍または8倍)と顔補完を同時に行う上で,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-02-29T13:31:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。