論文の概要: Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report

• arxiv url: http://arxiv.org/abs/2105.07809v1
• Date: Mon, 17 May 2021 13:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:55:44.364803
• Title: Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report
• Title（参考訳）: ディープラーニングとモバイルAI 2021チャレンジによるモバイルNPU上のスマートフォンISPの学習:レポート
• Authors: Andrey Ignatov, Cheng-Ming Chiang, Hsien-Kai Kuo, Anastasia Sycheva, Radu Timofte, Min-Hung Chen, Man-Yu Lee, Yu-Syuan Xu, Yu Tseng, Shusong Xu, Jin Guo, Chao-Hung Chen, Ming-Chun Hsyu, Wen-Chia Tsai, Chao-Wei Chen, Grigory Malivenko, Minsu Kwon, Myungje Lee, Jaeyoon Yoo, Changbeom Kang, Shinjo Wang, Zheng Shaolong, Hao Dejun, Xie Fen, Feng Zhuang, Yipeng Ma, Jingyang Peng, Tao Wang, Fenglong Song, Chih-Chung Hsu, Kwan-Lin Chen, Mei-Hsuang Wu, Vishal Chudasama, Kalpesh Prajapati, Heena Patel, Anjali Sarvaiya, Kishor Upla, Kiran Raja, Raghavendra Ramachandra, Christoph Busch, Etienne de Stoutz
• Abstract要約: この課題は、エンドツーエンドのディープラーニングベースの画像信号処理パイプラインの開発にある。 提案手法は60-100ミリ秒以下のフルHD写真を高忠実度で処理できる。
• 参考スコア（独自算出の注目度）: 49.643297263102845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the quality of mobile cameras starts to play a crucial role in modern smartphones, more and more attention is now being paid to ISP algorithms used to improve various perceptual aspects of mobile photos. In this Mobile AI challenge, the target was to develop an end-to-end deep learning-based image signal processing (ISP) pipeline that can replace classical hand-crafted ISPs and achieve nearly real-time performance on smartphone NPUs. For this, the participants were provided with a novel learned ISP dataset consisting of RAW-RGB image pairs captured with the Sony IMX586 Quad Bayer mobile sensor and a professional 102-megapixel medium format camera. The runtime of all models was evaluated on the MediaTek Dimensity 1000+ platform with a dedicated AI processing unit capable of accelerating both floating-point and quantized neural networks. The proposed solutions are fully compatible with the above NPU and are capable of processing Full HD photos under 60-100 milliseconds while achieving high fidelity results. A detailed description of all models developed in this challenge is provided in this paper.
• Abstract（参考訳）: モバイルカメラの品質が現代のスマートフォンで重要な役割を果たすようになるにつれて、モバイル写真のさまざまな知覚的側面を改善するために使われるispアルゴリズムにますます注目が集まっている。 このMobile AIチャレンジでは、古典的な手作りISPを置き換えることができるエンドツーエンドのディープラーニングベースの画像信号処理(ISP)パイプラインを開発し、スマートフォンのNPU上でほぼリアルタイムのパフォーマンスを実現することが目標とされた。 このために参加者は、Sony IMX586 Quad Bayerモバイルセンサーとプロの102メガピクセルの中型カメラでキャプチャされたRAW-RGBイメージペアからなる、新しいISPデータセットが提供された。 全てのモデルのランタイムはMediaTek Dimensity 1000+プラットフォーム上で評価され、専用のAI処理ユニットで浮動小数点と量子化されたニューラルネットワークの両方を高速化する。 提案手法は上記のNPUと完全に互換性があり,60-100ミリ秒以下のフルHD写真を高忠実度で処理できる。 本論文では,本課題で開発された全モデルについて詳述する。

関連論文リスト

• MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning [114.66037224769005]
  エッジデバイスに特化して設計された新しいMicroISPモデルを提案する。 提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32MPの写真を処理できる。 モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
  論文  参考訳（メタデータ） (2022-11-08T17:40:50Z)
• Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report [59.831324427712815]
  この課題は、効率的なエンドツーエンドのAIベースの画像処理パイプラインを開発することを目的としている。 モデルはSnapdragonの8 Gen 1 GPUで評価され、一般的なディープラーニング運用の大部分で優れた加速結果が得られた。 提案されたソリューションは、最近のすべてのモバイルGPUと互換性があり、フルHD写真を20-50ミリ秒未満で処理でき、高い忠実度を達成できる。
  論文  参考訳（メタデータ） (2022-11-07T22:13:10Z)
• Real-Time Quantized Image Super-Resolution on Mobile NPUs, Mobile AI 2021 Challenge: Report [67.86837649834636]
  我々は,エンド・ツー・エンドのディープラーニングベースの画像超解像ソリューションを開発することを目的とした,最初のモバイルaiチャレンジを紹介する。 提案されたソリューションは、すべての主要なモバイルAIアクセラレータと完全に互換性があり、40-60ms以下のフルHDイメージを再構築することができる。
  論文  参考訳（メタデータ） (2021-05-17T13:34:15Z)
• Fast Camera Image Denoising on Mobile GPUs with Deep Learning, Mobile AI 2021 Challenge: Report [64.09439666916465]
  最初のMobile AIチャレンジでは、エンドツーエンドのディープラーニングベースの画像記述ソリューションの開発を目標としています。 提案したソリューションは任意のモバイルGPUと完全に互換性があり、480pの解像度画像を40-80msで処理できる。
  論文  参考訳（メタデータ） (2021-05-17T13:27:56Z)
• Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
  PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
  論文  参考訳（メタデータ） (2020-02-13T14:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。