論文の概要: Del-Net: A Single-Stage Network for Mobile Camera ISP
- arxiv url: http://arxiv.org/abs/2108.01623v1
- Date: Tue, 3 Aug 2021 16:51:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-04 13:58:33.001725
- Title: Del-Net: A Single-Stage Network for Mobile Camera ISP
- Title（参考訳）: Del-Net:モバイルカメラISPのためのシングルステージネットワーク
- Authors: Saumya Gupta, Diplav Srivastava, Umang Chaturvedi, Anurag Jain, Gaurav
Khandelwal
- Abstract要約: スマートフォンカメラにおける従来の画像信号処理(ISP)パイプラインは、原センサーデータから高品質のsRGBイメージを順次再構成するための画像処理ステップで構成されている。
畳み込みニューラルネットワーク(CNN)を用いたディープラーニング手法は、画像のデノイング、コントラストの強化、超解像、デブロアリングなど、多くの画像関連タスクの解決に人気がある。
本稿では,スマートフォンの展開に適した複雑さでISPパイプライン全体を学ぶために,単一のエンドツーエンドディープラーニングモデルであるDelNetを提案する。
- 参考スコア（独自算出の注目度）: 14.168130234198467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The quality of images captured by smartphones is an important specification
since smartphones are becoming ubiquitous as primary capturing devices. The
traditional image signal processing (ISP) pipeline in a smartphone camera
consists of several image processing steps performed sequentially to
reconstruct a high quality sRGB image from the raw sensor data. These steps
consist of demosaicing, denoising, white balancing, gamma correction, colour
enhancement, etc. Since each of them are performed sequentially using
hand-crafted algorithms, the residual error from each processing module
accumulates in the final reconstructed signal. Thus, the traditional ISP
pipeline has limited reconstruction quality in terms of generalizability across
different lighting conditions and associated noise levels while capturing the
image. Deep learning methods using convolutional neural networks (CNN) have
become popular in solving many image-related tasks such as image denoising,
contrast enhancement, super resolution, deblurring, etc. Furthermore, recent
approaches for the RAW to sRGB conversion using deep learning methods have also
been published, however, their immense complexity in terms of their memory
requirement and number of Mult-Adds make them unsuitable for mobile camera ISP.
In this paper we propose DelNet - a single end-to-end deep learning model - to
learn the entire ISP pipeline within reasonable complexity for smartphone
deployment. Del-Net is a multi-scale architecture that uses spatial and channel
attention to capture global features like colour, as well as a series of
lightweight modified residual attention blocks to help with denoising. For
validation, we provide results to show the proposed Del-Net achieves compelling
reconstruction quality.
- Abstract（参考訳）: スマートフォンがプライマリキャプチャーデバイスとして普及しているため、スマートフォンで撮影された画像の品質は重要な仕様である。
スマートフォンカメラにおける従来の画像信号処理(ISP)パイプラインは、原センサーデータから高品質のsRGBイメージを逐次再構成する複数の画像処理ステップで構成されている。
これらのステップは、デモサイシング、デノージング、ホワイトバランス、ガンマ補正、カラーエンハンスメントなどで構成される。
それぞれ手作りのアルゴリズムを用いて順次実行されるので、各処理モジュールからの残差は最終再構成信号に蓄積される。
このように、従来のispパイプラインは、画像をキャプチャしながら異なる照明条件と関連するノイズレベルにまたがる一般化性の観点から、再構成品質が限られている。
畳み込みニューラルネットワーク(cnn)を用いた深層学習手法は,画像のデノイジングやコントラスト強調,スーパーレゾリューション,デブラリングなど,画像関連課題の解決に広く利用されている。
さらに, 深層学習手法を用いたsRGB変換へのRAWの最近のアプローチも発表されているが, メモリ要求やMult-Addの多さからすると, モバイルカメラISPには適さない。
本稿では,スマートフォンの展開に適した複雑さでISPパイプライン全体を学ぶために,単一のエンドツーエンドディープラーニングモデルであるDelNetを提案する。
del-netは、色のようなグローバルな特徴を捉えるために空間的およびチャネル的注意力を利用するマルチスケールアーキテクチャである。
検証のために提案したDel-Netが魅力的な再構成品質を実現することを示す。
関連論文リスト
- Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。
我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。
本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-04-17T17:11:47Z) - Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。
特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。
提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-16T16:17:48Z) - Learning Degradation-Independent Representations for Camera ISP Pipelines [14.195578257521934]
本稿では, 自己教師付き学習ベースライン表現の洗練を通じて, 劣化非依存表現(DiR)を学習するための新しい手法を提案する。
提案手法はドメイン一般化能力に優れ,様々なダウンストリームタスクにおいて最先端の手法よりも優れる。
論文 参考訳（メタデータ） (2023-07-03T05:38:28Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional
Neural Network [23.451063587138393]
RBSRICNN(Row Burst Super-Resolution Iterative Convolutional Neural Network)を提案する。
提案したネットワークは、中間SR推定を反復的に洗練することにより最終的な出力を生成する。
定量的および定性的な実験において提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-25T19:01:28Z) - PyNET-CA: Enhanced PyNET with Channel Attention for End-to-End Mobile
Image Signal Processing [32.7355302269855]
RAWからRGBへの再構築のためのエンドツーエンドのモバイルISPディープラーニングアルゴリズムであるPyNET-CAを提案する。
本稿では,AIM 2020 学習スマートフォン ISP チャレンジの結果と比較実験により,提案手法の性能を実証する。
論文 参考訳（メタデータ） (2021-04-07T03:40:11Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳（メタデータ） (2021-01-26T18:57:21Z) - AWNet: Attentive Wavelet Network for Image ISP [14.58067200317891]
本稿では,この学習可能な画像ISP問題に対処するために,AWNetと呼ばれるアテンション機構とウェーブレット変換を利用する新しいネットワークを提案する。
提案手法により,RAW情報から好意的な画像の詳細を復元し,より広い受容領域を実現することができる。
実験結果から,定性的,定量的両測定における設計の進歩が示唆された。
論文 参考訳（メタデータ） (2020-08-20T23:28:41Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。