論文の概要: Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs
- arxiv url: http://arxiv.org/abs/2007.08404v1
- Date: Thu, 16 Jul 2020 15:25:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 23:34:43.414628
- Title: Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs
- Title（参考訳）: CNNを用いた大気乱流による単一顔画像の復元学習
- Authors: Rajeev Yasarla, Vishal M Patel
- Abstract要約: このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。
乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
- 参考スコア（独自算出の注目度）: 93.72048616001064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Atmospheric turbulence significantly affects imaging systems which use light
that has propagated through long atmospheric paths. Images captured under such
condition suffer from a combination of geometric deformation and space varying
blur. We present a deep learning-based solution to the problem of restoring a
turbulence-degraded face image where prior information regarding the amount of
geometric distortion and blur at each location of the face image is first
estimated using two separate networks. The estimated prior information is then
used by a network called, Turbulence Distortion Removal Network (TDRN), to
correct geometric distortion and reduce blur in the face image. Furthermore, a
novel loss is proposed to train TDRN where first and second order image
gradients are computed along with their confidence maps to mitigate the effect
of turbulence degradation. Comprehensive experiments on synthetic and real face
images show that this framework is capable of alleviating blur and geometric
distortion caused by atmospheric turbulence, and significantly improves the
visual quality. In addition, an ablation study is performed to demonstrate the
improvements obtained by different modules in the proposed method.
- Abstract（参考訳）: 大気の乱流は、長い大気の経路を伝播した光を使用する撮像システムに大きく影響する。
このような条件下で撮影された画像は、幾何学的変形と空間変化のぼやけの組み合わせに苦しむ。
本稿では,2つの異なるネットワークを用いて,顔画像の各位置における幾何歪みとぼやけの量に関する事前情報を推定する,乱流劣化顔画像の復元問題に対する深層学習に基づく解を提案する。
推定された事前情報は、乱歪除去ネットワーク(TDRN)と呼ばれるネットワークによって、幾何学的歪みを補正し、顔画像のぼやけを低減するために使用される。
さらに,TDRNのトレーニングにおいて,第1次および第2次画像勾配と信頼性マップを併用することで乱流劣化の影響を緩和する新たな損失を提案する。
合成顔画像と実顔画像の総合的な実験により, この枠組みは大気乱流によるぼやけや幾何学的歪みを緩和し, 視覚的品質を著しく向上することを示した。
また,提案手法における異なるモジュールによる改善を示すため,アブレーション実験を行った。
関連論文リスト
- Deformation-Invariant Neural Network and Its Applications in Distorted
Image Restoration and Analysis [8.009077765403287]
幾何学的歪みによって劣化した画像は、画像や物体認識などのコンピュータビジョンタスクにおいて重要な課題となる。
ディープラーニングに基づく画像モデルは通常、幾何学的に歪んだ画像に対して正確な性能を与えることができない。
本稿では、幾何学的に歪んだ画像の撮像タスクに対処するフレームワークである変形不変ニューラルネットワーク(DINN)を提案する。
論文 参考訳（メタデータ） (2023-10-04T08:01:36Z) - AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using
Denoising Diffusion Probabilistic Models [64.24948495708337]
大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。
CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。
Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
論文 参考訳（メタデータ） (2022-08-24T03:13:04Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳（メタデータ） (2022-07-20T17:09:16Z) - Learning to restore images degraded by atmospheric turbulence using
uncertainty [93.72048616001064]
大気の乱流は、長距離イメージングシステムによって取得された画像の品質を著しく低下させることができる。
本研究では,大気乱流により劣化した1つの画像の復元のための深層学習に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2022-07-07T17:24:52Z) - Thermal to Visible Image Synthesis under Atmospheric Turbulence [67.99407460140263]
バイオメトリックスや監視では、低照度と夜間の条件下での撮像に熱画像モダリティがしばしば用いられる。
このような画像システムは、しばしば大気の乱れに悩まされ、撮像された画像に激しいぼやけや変形のアーチファクトをもたらす。
熱画像を直接可視光画像に変換するエンド・ツー・エンドの再構成法を提案する。
論文 参考訳（メタデータ） (2022-04-06T19:47:41Z) - LTT-GAN: Looking Through Turbulence by Inverting GANs [86.25869403782957]
本稿では,よく訓練されたGANによってカプセル化された視覚的事前情報を利用した最初の乱流緩和手法を提案する。
視覚的先行性に基づき、周期的な文脈距離で復元された画像の同一性を維持することを学ぶことを提案する。
本手法は, 回復した結果の視覚的品質と顔認証精度の両方において, 先行技術よりも優れていた。
論文 参考訳（メタデータ） (2021-12-04T16:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。