論文の概要: GenISP: Neural ISP for Low-Light Machine Cognition
- arxiv url: http://arxiv.org/abs/2205.03688v1
- Date: Sat, 7 May 2022 17:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 15:51:31.710975
- Title: GenISP: Neural ISP for Low-Light Machine Cognition
- Title（参考訳）: GenISP: 低照度マシン認知のためのニューラルISP
- Authors: Igor Morawski and Yu-An Chen and Yu-Sheng Lin and Shusil Dangi and Kai
He and Winston H. Hsu
- Abstract要約: 低照度環境では、原画像データを用いた物体検出器は、ISPパイプラインで処理された画像データを用いた検出器よりも堅牢である。
我々は、デバイスに依存しないカラー空間にカラー空間変換を明示的に組み込んだ、マシン認知のための最小限のニューラルISPパイプラインGenISPを提案する。
- 参考スコア（独自算出の注目度）: 19.444297600977546
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Object detection in low-light conditions remains a challenging but important
problem with many practical implications. Some recent works show that, in
low-light conditions, object detectors using raw image data are more robust
than detectors using image data processed by a traditional ISP pipeline. To
improve detection performance in low-light conditions, one can fine-tune the
detector to use raw image data or use a dedicated low-light neural pipeline
trained with paired low- and normal-light data to restore and enhance the
image. However, different camera sensors have different spectral sensitivity
and learning-based models using raw images process data in the sensor-specific
color space. Thus, once trained, they do not guarantee generalization to other
camera sensors. We propose to improve generalization to unseen camera sensors
by implementing a minimal neural ISP pipeline for machine cognition, named
GenISP, that explicitly incorporates Color Space Transformation to a
device-independent color space. We also propose a two-stage color processing
implemented by two image-to-parameter modules that take down-sized image as
input and regress global color correction parameters. Moreover, we propose to
train our proposed GenISP under the guidance of a pre-trained object detector
and avoid making assumptions about perceptual quality of the image, but rather
optimize the image representation for machine cognition. At the inference
stage, GenISP can be paired with any object detector. We perform extensive
experiments to compare our method to other low-light image restoration and
enhancement methods in an extrinsic task-based evaluation and validate that
GenISP can generalize to unseen sensors and object detectors. Finally, we
contribute a low-light dataset of 7K raw images annotated with 46K bounding
boxes for task-based benchmarking of future low-light image restoration and
object detection.
- Abstract（参考訳）: 低照度条件下での物体検出は、多くの実践的な意味を持つ難しいが重要な問題である。
近年の研究では、低照度環境では、生画像データを用いた物体検出器は、従来のISPパイプラインで処理された画像データを用いた検出器よりも堅牢であることが示されている。
低照度条件における検出性能を改善するために、原画像データを使用するために検出器を微調整したり、ペアの低照度データと通常照度データで訓練された専用低照度ニューラルネットワークを使用して画像の復元および強化を行うことができる。
しかし、異なるカメラセンサは、センサー固有の色空間における生画像処理データを用いて、スペクトル感度と学習ベースモデルが異なる。
したがって、一度訓練すると、他のカメラセンサーへの一般化は保証されない。
本稿では,機械認識のための最小のニューラルネットワークispパイプラインであるgenispを実装し,デバイスに依存しない色空間に色空間変換を明示的に組み込むことにより,カメラセンサの一般化を改善することを提案する。
また,画像からパラメータへの2つのモジュールによって実装された2段階のカラー処理について提案する。
さらに,提案するGenISPを事前学習対象検出器の指導の下で訓練し,画像の知覚品質に関する仮定を回避し,むしろ画像表現を機械認識に最適化することを提案する。
推論段階では、GenISPは任意のオブジェクト検出器とペアリングできる。
我々は,本手法と他の低照度画像復元・拡張手法との比較実験を行い,GenISPが未知のセンサや物体検出器に一般化できることを検証する。
最後に,46K境界ボックスを付加した7K原画像の低照度データセットを,将来の低照度画像復元と物体検出のタスクベースベンチマークに貢献する。
関連論文リスト
- Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。
我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。
本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-04-17T17:11:47Z) - You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。
水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。
輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
論文 参考訳（メタデータ） (2024-02-08T16:47:43Z) - Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。
我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-09T08:29:19Z) - Polarimetric Imaging for Perception [3.093890460224435]
我々は、RGB偏光カメラを用いた知覚タスクの改善の可能性を分析する。
我々は、最先端のディープニューラルネットワークを用いて、両者にとって定量化された改善が達成可能であることを示す。
論文 参考訳（メタデータ） (2023-05-24T06:42:27Z) - Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and
Transformer-Based Method [51.30748775681917]
低照度画像強調(LLIE)の課題を考察し,4K解像度と8K解像度の画像からなる大規模データベースを導入する。
我々は、系統的なベンチマーク研究を行い、現在のLLIEアルゴリズムと比較する。
第2のコントリビューションとして,変換器をベースとした低照度化手法であるLLFormerを紹介する。
論文 参考訳（メタデータ） (2022-12-22T09:05:07Z) - Enabling ISP-less Low-Power Computer Vision [4.102254385058941]
汎用的な高レベル視覚タスクのための大規模ベンチマークの生版をリリースする。
ISPなしのCVシステムでは、生画像のトレーニングにより、テスト精度が7.1%向上する。
そこで本研究では,画素内CNN計算と組み合わせた,エネルギー効率のよいアナログインピクセル復号法を提案する。
論文 参考訳（メタデータ） (2022-10-11T13:47:30Z) - Learning Enriched Illuminants for Cross and Single Sensor Color
Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。
センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。
実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2022-03-21T15:45:35Z) - Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する
近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。
本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
論文 参考訳（メタデータ） (2022-01-10T08:36:10Z) - Thermal Image Processing via Physics-Inspired Deep Networks [21.094006629684376]
DeepIRは、物理的に正確なセンサーモデリングとディープネットワークベースのイメージ表現を組み合わせる。
DeepIRは、トレーニングデータや、既知のブラックボディターゲットによる定期的な地平線校正を必要としない。
シミュレーションおよび実データ実験により、DeepIRは3つの画像で高品質な非均一性補正を行うことができることを示した。
論文 参考訳（メタデータ） (2021-08-18T04:57:48Z) - Learning Camera Miscalibration Detection [83.38916296044394]
本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。
コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。
深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
論文 参考訳（メタデータ） (2020-05-24T10:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。