論文の概要: Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination
Conditions via Fourier Adversarial Networks
- arxiv url: http://arxiv.org/abs/2204.01795v1
- Date: Mon, 4 Apr 2022 18:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 14:12:46.989666
- Title: Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination
Conditions via Fourier Adversarial Networks
- Title(参考訳): フーリエ対向ネットワークを用いた動的照明条件におけるロバスト知覚のための軽量HDRカメラISP
- Authors: Pranjay Shyam, Sandeep Singh Sengar, Kuk-Jin Yoon and Kyung-Soo Kim
- Abstract要約: 照明とノイズ除去の逐次的バランスをとる軽量な2段階画像強調アルゴリズムを提案する。
また、異なる照明条件下での一貫した画像強調のためのフーリエスペクトルベース対向フレームワーク(AFNet)を提案する。
また,定量的および定性的な評価に基づいて,画像強調技術が共通認識タスクの性能に与える影響について検討した。
- 参考スコア(独自算出の注目度): 35.532434169432776
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The limited dynamic range of commercial compact camera sensors results in an
inaccurate representation of scenes with varying illumination conditions,
adversely affecting image quality and subsequently limiting the performance of
underlying image processing algorithms. Current state-of-the-art (SoTA)
convolutional neural networks (CNN) are developed as post-processing techniques
to independently recover under-/over-exposed images. However, when applied to
images containing real-world degradations such as glare, high-beam, color
bleeding with varying noise intensity, these algorithms amplify the
degradations, further degrading image quality. We propose a lightweight
two-stage image enhancement algorithm sequentially balancing illumination and
noise removal using frequency priors for structural guidance to overcome these
limitations. Furthermore, to ensure realistic image quality, we leverage the
relationship between frequency and spatial domain properties of an image and
propose a Fourier spectrum-based adversarial framework (AFNet) for consistent
image enhancement under varying illumination conditions. While current
formulations of image enhancement are envisioned as post-processing techniques,
we examine if such an algorithm could be extended to integrate the
functionality of the Image Signal Processing (ISP) pipeline within the camera
sensor benefiting from RAW sensor data and lightweight CNN architecture. Based
on quantitative and qualitative evaluations, we also examine the practicality
and effects of image enhancement techniques on the performance of common
perception tasks such as object detection and semantic segmentation in varying
illumination conditions.
- Abstract(参考訳): 商用コンパクトカメラセンサのダイナミックレンジの制限により、照明条件の異なるシーンの不正確な表現が行われ、画質に悪影響を及ぼし、その後、基盤となる画像処理アルゴリズムの性能が制限される。
現在の最先端(SoTA)畳み込みニューラルネットワーク(CNN)は、未公開画像の独立に復元するための後処理技術として開発されている。
しかし、グラア、ハイビーム、カラーブラッシングなどの実世界の劣化を含む画像に適用すると、これらのアルゴリズムは劣化を増幅し、さらに画質を低下させる。
本稿では,これらの制約を克服するために,周波数先行値を用いた照明とノイズ除去の逐次バランスをとる軽量な2段階画像強調アルゴリズムを提案する。
さらに,画像の周波数特性と空間領域特性の関係を活かし,異なる照明条件下で一貫した画像エンハンスメントを実現するためのフーリエスペクトルに基づくadversarial framework(afnet)を提案する。
現在の画像強調の定式化は後処理技術として想定されているが,RAWセンサデータと軽量CNNアーキテクチャを利用して,カメラセンサに画像信号処理(ISP)パイプラインの機能を統合するために,そのようなアルゴリズムを拡張できるかどうかを検討する。
また,定量的および定性的な評価に基づいて,物体検出やセマンティックセグメンテーションなど,様々な照明条件下での認識課題に対する画像強調技術の実用性と効果についても検討した。
関連論文リスト
- DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - Enhancing Low-light Light Field Images with A Deep Compensation
Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - GDIP: Gated Differentiable Image Processing for Object-Detection in
Adverse Conditions [15.327704761260131]
本稿では,ドメインに依存しないネットワークアーキテクチャであるGated Differentiable Image Processing (GDIP)ブロックを提案する。
提案するGDIPブロックは、下流の物体検出損失から画像を直接拡張することを学ぶ。
いくつかの最先端手法による検出性能の大幅な向上を示す。
論文 参考訳(メタデータ) (2022-09-29T16:43:13Z) - High Dynamic Range and Super-Resolution from Raw Image Bursts [52.341483902624006]
本稿では,露光ブラケット付きハンドヘルドカメラで撮影した原写真からの高解像度・高ダイナミックレンジカラー画像の再構成について紹介する。
提案アルゴリズムは,画像復元における最先端の学習手法と比較して,メモリ要求の少ない高速なアルゴリズムである。
実験では、ハンドヘルドカメラで野生で撮影された実際の写真に最大4ドル(約4,800円)の超高解像度な要素で優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-29T13:31:28Z) - INFWIDE: Image and Feature Space Wiener Deconvolution Network for
Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。
INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。
合成データと実データを用いた実験は,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-17T15:22:31Z) - Burst Imaging for Light-Constrained Structure-From-Motion [4.125187280299246]
低光環境下で得られた画像から3次元再構成を支援する画像処理技術を開発した。
バースト写真に基づく本手法は,短時間露光画像のバースト内における画像登録に直接的手法を用いる。
本手法は,低光環境下でのロボットの動作を可能にするための重要なステップであり,地中鉱山や夜間作業などの環境におけるロボットの動作に応用できる可能性がある。
論文 参考訳(メタデータ) (2021-08-23T02:12:40Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳(メタデータ) (2021-08-19T11:02:25Z) - Thermal Image Processing via Physics-Inspired Deep Networks [21.094006629684376]
DeepIRは、物理的に正確なセンサーモデリングとディープネットワークベースのイメージ表現を組み合わせる。
DeepIRは、トレーニングデータや、既知のブラックボディターゲットによる定期的な地平線校正を必要としない。
シミュレーションおよび実データ実験により、DeepIRは3つの画像で高品質な非均一性補正を行うことができることを示した。
論文 参考訳(メタデータ) (2021-08-18T04:57:48Z) - Deep Bilateral Retinex for Low-Light Image Enhancement [96.15991198417552]
低照度画像は、低コントラスト、色歪み、測定ノイズによる視界の低下に悩まされる。
本稿では,低照度画像強調のための深層学習手法を提案する。
提案手法は最先端の手法と非常に競合し, 極めて低照度で撮影した画像の処理において, 他に比べて大きな優位性を有する。
論文 参考訳(メタデータ) (2020-07-04T06:26:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。