論文の概要: MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning
- arxiv url: http://arxiv.org/abs/2211.06770v1
- Date: Tue, 8 Nov 2022 17:40:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 13:33:14.791446
- Title: MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning
- Title（参考訳）: MicroISP: ディープラーニングでモバイルデバイスで32メガピクセルの写真を処理
- Authors: Andrey Ignatov and Anastasia Sycheva and Radu Timofte and Yu Tseng and
Yu-Syuan Xu and Po-Hsiang Yu and Cheng-Ming Chiang and Hsien-Kai Kuo and
Min-Hung Chen and Chia-Ming Cheng and Luc Van Gool
- Abstract要約: エッジデバイスに特化して設計された新しいMicroISPモデルを提案する。
提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32MPの写真を処理できる。
モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
- 参考スコア（独自算出の注目度）: 114.66037224769005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While neural networks-based photo processing solutions can provide a better
image quality compared to the traditional ISP systems, their application to
mobile devices is still very limited due to their very high computational
complexity. In this paper, we present a novel MicroISP model designed
specifically for edge devices, taking into account their computational and
memory limitations. The proposed solution is capable of processing up to 32MP
photos on recent smartphones using the standard mobile ML libraries and
requiring less than 1 second to perform the inference, while for FullHD images
it achieves real-time performance. The architecture of the model is flexible,
allowing to adjust its complexity to devices of different computational power.
To evaluate the performance of the model, we collected a novel Fujifilm
UltraISP dataset consisting of thousands of paired photos captured with a
normal mobile camera sensor and a professional 102MP medium-format FujiFilm
GFX100 camera. The experiments demonstrated that, despite its compact size, the
MicroISP model is able to provide comparable or better visual results than the
traditional mobile ISP systems, while outperforming the previously proposed
efficient deep learning based solutions. Finally, this model is also compatible
with the latest mobile AI accelerators, achieving good runtime and low power
consumption on smartphone NPUs and APUs. The code, dataset and pre-trained
models are available on the project website:
https://people.ee.ethz.ch/~ihnatova/microisp.html
- Abstract（参考訳）: ニューラルネットワークベースのフォトプロセッシングソリューションは、従来のISPシステムよりも画質が良いが、計算量が非常に高いため、モバイルデバイスへの応用は依然として非常に限られている。
本稿では,エッジデバイス向けに設計された新しいMicroISPモデルを提案する。
提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32メガピクセルの写真を処理し,推論に1秒未満で処理でき,FullHDイメージではリアルタイムのパフォーマンスを実現する。
モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
モデルの性能を評価するため,通常のモバイルカメラセンサとプロ用102MPのFujiFilm GFX100カメラで撮影した数千枚の写真からなる,新しいFujifilm UltraISPデータセットを収集した。
実験では、マイクロISPモデルは、そのコンパクトさにもかかわらず、従来のモバイルISPシステムと同等またはより良い視覚的結果を提供できる一方で、これまで提案されていた効率的なディープラーニングベースのソリューションよりも優れていることを示した。
最後に、このモデルは最新のモバイルAIアクセラレータとも互換性があり、スマートフォンのNPUとAPUで優れたランタイムと低消費電力を実現する。
コード、データセット、事前トレーニングされたモデルは、プロジェクトのWebサイトで入手できる。
関連論文リスト
- MobileMEF: Fast and Efficient Method for Multi-Exposure Fusion [0.6261722394141346]
本稿では,エンコーダ・デコーダ深層学習アーキテクチャに基づくマルチ露光融合手法を提案する。
我々のモデルは、中距離スマートフォンで2秒未満で4K解像度画像を処理できる。
論文 参考訳（メタデータ） (2024-08-15T05:03:14Z) - PyNet-V2 Mobile: Efficient On-Device Photo Processing With Neural
Networks [115.97113917000145]
エッジデバイス用に設計された新しいPyNET-V2 Mobile CNNアーキテクチャを提案する。
提案アーキテクチャでは,携帯電話から直接RAW 12MPの写真を1.5秒で処理することができる。
提案したアーキテクチャは,最新のモバイルAIアクセラレータとも互換性があることが示されている。
論文 参考訳（メタデータ） (2022-11-08T17:18:01Z) - Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI &
AIM 2022 Challenge: Report [59.831324427712815]
この課題は、効率的なエンドツーエンドのAIベースの画像処理パイプラインを開発することを目的としている。
モデルはSnapdragonの8 Gen 1 GPUで評価され、一般的なディープラーニング運用の大部分で優れた加速結果が得られた。
提案されたソリューションは、最近のすべてのモバイルGPUと互換性があり、フルHD写真を20-50ミリ秒未満で処理でき、高い忠実度を達成できる。
論文 参考訳（メタデータ） (2022-11-07T22:13:10Z) - Real-Time Quantized Image Super-Resolution on Mobile NPUs, Mobile AI
2021 Challenge: Report [67.86837649834636]
我々は,エンド・ツー・エンドのディープラーニングベースの画像超解像ソリューションを開発することを目的とした,最初のモバイルaiチャレンジを紹介する。
提案されたソリューションは、すべての主要なモバイルAIアクセラレータと完全に互換性があり、40-60ms以下のフルHDイメージを再構築することができる。
論文 参考訳（メタデータ） (2021-05-17T13:34:15Z) - Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021
Challenge: Report [49.643297263102845]
この課題は、エンドツーエンドのディープラーニングベースの画像信号処理パイプラインの開発にある。
提案手法は60-100ミリ秒以下のフルHD写真を高忠実度で処理できる。
論文 参考訳（メタデータ） (2021-05-17T13:20:35Z) - Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。
このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
論文 参考訳（メタデータ） (2020-02-13T14:22:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。