論文の概要: Replacing Mobile Camera ISP with a Single Deep Learning Model

• arxiv url: http://arxiv.org/abs/2002.05509v1
• Date: Thu, 13 Feb 2020 14:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:58:55.338531
• Title: Replacing Mobile Camera ISP with a Single Deep Learning Model
• Title（参考訳）: 単一ディープラーニングモデルによるモバイルカメラISPのリプレース
• Authors: Andrey Ignatov, Luc Van Gool, Radu Timofte
• Abstract要約: PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
• 参考スコア（独自算出の注目度）: 171.49776472948957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the popularity of mobile photography is growing constantly, lots of efforts are being invested now into building complex hand-crafted camera ISP solutions. In this work, we demonstrate that even the most sophisticated ISP pipelines can be replaced with a single end-to-end deep learning model trained without any prior knowledge about the sensor and optics used in a particular device. For this, we present PyNET, a novel pyramidal CNN architecture designed for fine-grained image restoration that implicitly learns to perform all ISP steps such as image demosaicing, denoising, white balancing, color and contrast correction, demoireing, etc. The model is trained to convert RAW Bayer data obtained directly from mobile camera sensor into photos captured with a professional high-end DSLR camera, making the solution independent of any particular mobile ISP implementation. To validate the proposed approach on the real data, we collected a large-scale dataset consisting of 10 thousand full-resolution RAW-RGB image pairs captured in the wild with the Huawei P20 cameraphone (12.3 MP Sony Exmor IMX380 sensor) and Canon 5D Mark IV DSLR. The experiments demonstrate that the proposed solution can easily get to the level of the embedded P20's ISP pipeline that, unlike our approach, is combining the data from two (RGB + B/W) camera sensors. The dataset, pre-trained models and codes used in this paper are available on the project website.
• Abstract（参考訳）: モバイル写真の人気が常に高まる中、手作りの複雑なカメラISPソリューションの構築に多くの努力が注がれている。 そこで本研究では,最先端のispパイプラインであっても,特定のデバイスで使用するセンサや光学に関する事前知識を必要とせずにトレーニングされた,エンドツーエンドのディープラーニングモデルに置き換えることができることを実証する。 そこで我々は,画像の復調,デノイジング,ホワイトバランス,色とコントラストの補正,デコレーションなど,ispのすべてのステップを暗黙的に実行するように設計された,新しいピラミッド型cnnアーキテクチャであるpynetを提案する。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されており、特定のモバイルISPの実装とは独立している。 提案手法を実データで検証するために,Huawei P20カメラホン(12.3MPSony Exmor IMX380センサー)とキヤノン5D Mark IV DSLRで撮影した1万個のフル解像度RAW-RGBイメージペアからなる大規模データセットを収集した。 実験により,提案手法が組込みP20のISPパイプラインのレベルに容易に到達できることが実証された。 この論文で使用されるデータセット、事前訓練されたモデル、コードは、プロジェクトのウェブサイトで入手できる。

関連論文リスト

• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• PyNet-V2 Mobile: Efficient On-Device Photo Processing With Neural Networks [115.97113917000145]
  エッジデバイス用に設計された新しいPyNET-V2 Mobile CNNアーキテクチャを提案する。 提案アーキテクチャでは,携帯電話から直接RAW 12MPの写真を1.5秒で処理することができる。 提案したアーキテクチャは,最新のモバイルAIアクセラレータとも互換性があることが示されている。
  論文  参考訳（メタデータ） (2022-11-08T17:18:01Z)
• Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report [59.831324427712815]
  この課題は、効率的なエンドツーエンドのAIベースの画像処理パイプラインを開発することを目的としている。 モデルはSnapdragonの8 Gen 1 GPUで評価され、一般的なディープラーニング運用の大部分で優れた加速結果が得られた。 提案されたソリューションは、最近のすべてのモバイルGPUと互換性があり、フルHD写真を20-50ミリ秒未満で処理でき、高い忠実度を達成できる。
  論文  参考訳（メタデータ） (2022-11-07T22:13:10Z)
• Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report [49.643297263102845]
  この課題は、エンドツーエンドのディープラーニングベースの画像信号処理パイプラインの開発にある。 提案手法は60-100ミリ秒以下のフルHD写真を高忠実度で処理できる。
  論文  参考訳（メタデータ） (2021-05-17T13:20:35Z)
• AWNet: Attentive Wavelet Network for Image ISP [14.58067200317891]
  本稿では,この学習可能な画像ISP問題に対処するために,AWNetと呼ばれるアテンション機構とウェーブレット変換を利用する新しいネットワークを提案する。 提案手法により,RAW情報から好意的な画像の詳細を復元し,より広い受容領域を実現することができる。 実験結果から,定性的,定量的両測定における設計の進歩が示唆された。
  論文  参考訳（メタデータ） (2020-08-20T23:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。