論文の概要: Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI &
AIM 2022 Challenge: Report
- arxiv url: http://arxiv.org/abs/2211.03885v1
- Date: Mon, 7 Nov 2022 22:13:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 16:29:41.697487
- Title: Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI &
AIM 2022 Challenge: Report
- Title（参考訳）: ディープラーニング、モバイルAI、AIM 2022によるモバイルGPU上のスマートフォンISPの学習:レポート
- Authors: Andrey Ignatov and Radu Timofte and Shuai Liu and Chaoyu Feng and
Furui Bai and Xiaotao Wang and Lei Lei and Ziyao Yi and Yan Xiang and Zibin
Liu and Shaoqing Li and Keming Shi and Dehui Kong and Ke Xu and Minsu Kwon
and Yaqi Wu and Jiesi Zheng and Zhihao Fan and Xun Wu and Feng Zhang and
Albert No and Minhyeok Cho and Zewen Chen and Xiaze Zhang and Ran Li and Juan
Wang and Zhiming Wang and Marcos V. Conde and Ui-Jin Choi and Georgy
Perevozchikov and Egor Ershov and Zheng Hui and Mengchuan Dong and Xin Lou
and Wei Zhou and Cong Pang and Haina Qin and Mingxuan Cai
- Abstract要約: この課題は、効率的なエンドツーエンドのAIベースの画像処理パイプラインを開発することを目的としている。
モデルはSnapdragonの8 Gen 1 GPUで評価され、一般的なディープラーニング運用の大部分で優れた加速結果が得られた。
提案されたソリューションは、最近のすべてのモバイルGPUと互換性があり、フルHD写真を20-50ミリ秒未満で処理でき、高い忠実度を達成できる。
- 参考スコア（独自算出の注目度）: 59.831324427712815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The role of mobile cameras increased dramatically over the past few years,
leading to more and more research in automatic image quality enhancement and
RAW photo processing. In this Mobile AI challenge, the target was to develop an
efficient end-to-end AI-based image signal processing (ISP) pipeline replacing
the standard mobile ISPs that can run on modern smartphone GPUs using
TensorFlow Lite. The participants were provided with a large-scale Fujifilm
UltraISP dataset consisting of thousands of paired photos captured with a
normal mobile camera sensor and a professional 102MP medium-format FujiFilm
GFX100 camera. The runtime of the resulting models was evaluated on the
Snapdragon's 8 Gen 1 GPU that provides excellent acceleration results for the
majority of common deep learning ops. The proposed solutions are compatible
with all recent mobile GPUs, being able to process Full HD photos in less than
20-50 milliseconds while achieving high fidelity results. A detailed
description of all models developed in this challenge is provided in this
paper.
- Abstract（参考訳）: モバイルカメラの役割はここ数年で劇的に向上し、自動画質向上とraw写真処理の分野で研究が増えている。
このMobile AIチャレンジでは、TensorFlow Liteを使用して最新のスマートフォンGPU上で実行できる標準のモバイルISPを置き換える、効率的なエンドツーエンドAIベースの画像信号処理(ISP)パイプラインを開発することが目標だった。
参加者は、通常のモバイルカメラセンサーで撮影した数千枚の写真と、プロの102MPのFujiFilm GFX100カメラからなる大規模なFujifilm UltraISPデータセットが提供された。
その結果得られたモデルのランタイムはSnapdragonの8 Gen 1 GPUで評価され、一般的なディープラーニング運用の大部分で優れた加速結果が得られた。
提案されたソリューションは、最近のすべてのモバイルGPUと互換性があり、フルHD写真を20-50ミリ秒未満で処理でき、高い忠実度を達成できる。
本論文では,本課題で開発された全モデルについて詳述する。
関連論文リスト
- MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning [114.66037224769005]
エッジデバイスに特化して設計された新しいMicroISPモデルを提案する。
提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32MPの写真を処理できる。
モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
論文 参考訳（メタデータ） (2022-11-08T17:40:50Z) - Realistic Bokeh Effect Rendering on Mobile GPUs, Mobile AI & AIM 2022
challenge: Report [75.79829464552311]
この課題は、最新のスマートフォンモデルで実行できる効率的なエンドツーエンドのAIベースのレンダリングアプローチを開発することだった。
得られたモデルはKirin 9000のMali GPUで評価され、多くのディープラーニングオプティマスに対して優れた加速結果が得られた。
論文 参考訳（メタデータ） (2022-11-07T22:42:02Z) - Fast and Accurate Quantized Camera Scene Detection on Smartphones,
Mobile AI 2021 Challenge: Report [65.91472671013302]
我々は、量子化ディープラーニングベースのカメラシーン分類ソリューションを開発することを目的とした、最初のMobile AIチャレンジを紹介する。
提案されたソリューションは、すべての主要なモバイルAIアクセラレータと完全に互換性があり、最近のスマートフォンプラットフォームの大部分で100-200 FPS以上を実証することができる。
論文 参考訳（メタデータ） (2021-05-17T13:55:38Z) - Fast Camera Image Denoising on Mobile GPUs with Deep Learning, Mobile AI
2021 Challenge: Report [64.09439666916465]
最初のMobile AIチャレンジでは、エンドツーエンドのディープラーニングベースの画像記述ソリューションの開発を目標としています。
提案したソリューションは任意のモバイルGPUと完全に互換性があり、480pの解像度画像を40-80msで処理できる。
論文 参考訳（メタデータ） (2021-05-17T13:27:56Z) - Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021
Challenge: Report [49.643297263102845]
この課題は、エンドツーエンドのディープラーニングベースの画像信号処理パイプラインの開発にある。
提案手法は60-100ミリ秒以下のフルHD写真を高忠実度で処理できる。
論文 参考訳（メタデータ） (2021-05-17T13:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。