論文の概要: PyNet-V2 Mobile: Efficient On-Device Photo Processing With Neural Networks

• arxiv url: http://arxiv.org/abs/2211.06263v1
• Date: Tue, 8 Nov 2022 17:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 13:33:37.904295
• Title: PyNet-V2 Mobile: Efficient On-Device Photo Processing With Neural Networks
• Title（参考訳）: pynet-v2 mobile:ニューラルネットワークを用いた効率的なオンデバイスフォトプロセッシング
• Authors: Andrey Ignatov and Grigory Malivenko and Radu Timofte and Yu Tseng and Yu-Syuan Xu and Po-Hsiang Yu and Cheng-Ming Chiang and Hsien-Kai Kuo and Min-Hung Chen and Chia-Ming Cheng and Luc Van Gool
• Abstract要約: エッジデバイス用に設計された新しいPyNET-V2 Mobile CNNアーキテクチャを提案する。 提案アーキテクチャでは,携帯電話から直接RAW 12MPの写真を1.5秒で処理することができる。 提案したアーキテクチャは,最新のモバイルAIアクセラレータとも互換性があることが示されている。
• 参考スコア（独自算出の注目度）: 115.97113917000145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increased importance of mobile photography created a need for fast and performant RAW image processing pipelines capable of producing good visual results in spite of the mobile camera sensor limitations. While deep learning-based approaches can efficiently solve this problem, their computational requirements usually remain too large for high-resolution on-device image processing. To address this limitation, we propose a novel PyNET-V2 Mobile CNN architecture designed specifically for edge devices, being able to process RAW 12MP photos directly on mobile phones under 1.5 second and producing high perceptual photo quality. To train and to evaluate the performance of the proposed solution, we use the real-world Fujifilm UltraISP dataset consisting on thousands of RAW-RGB image pairs captured with a professional medium-format 102MP Fujifilm camera and a popular Sony mobile camera sensor. The results demonstrate that the PyNET-V2 Mobile model can substantially surpass the quality of tradition ISP pipelines, while outperforming the previously introduced neural network-based solutions designed for fast image processing. Furthermore, we show that the proposed architecture is also compatible with the latest mobile AI accelerators such as NPUs or APUs that can be used to further reduce the latency of the model to as little as 0.5 second. The dataset, code and pre-trained models used in this paper are available on the project website: https://github.com/gmalivenko/PyNET-v2
• Abstract（参考訳）: モバイル写真の重要性の高まりは、モバイルカメラセンサーの制限にもかかわらず、優れた視覚結果を生み出すことができる高速かつ高性能なRAW画像処理パイプラインの必要性を生み出した。 ディープラーニングベースのアプローチはこの問題を効率的に解決できるが、その計算要求は通常、高解像度のオンデバイス画像処理には大きすぎる。 この制限に対処するために,エッジデバイス用に設計された新しいPyNET-V2 Mobile CNNアーキテクチャを提案する。 提案手法の性能をトレーニングし,評価するために,プロ用中型102MPの富士フィルムカメラと,人気の高いソニーモバイルカメラセンサを用いて,RAW-RGBイメージペア数千枚からなる実世界の富士フィルムUltraISPデータセットを用いた。 その結果,pynet-v2モバイルモデルは従来型ispパイプラインのクオリティを大幅に上回り,高速画像処理用に開発されたニューラルネットワークベースのソリューションを上回った。 さらに、提案アーキテクチャは、NPUやAPUといった最新のモバイルAIアクセラレータとも互換性があり、モデルのレイテンシをさらに0.5秒に短縮できることを示す。 本論文で使用されるデータセット、コード、事前トレーニング済みモデルは、プロジェクトのWebサイトで公開されている。

関連論文リスト

• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning [114.66037224769005]
  エッジデバイスに特化して設計された新しいMicroISPモデルを提案する。 提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32MPの写真を処理できる。 モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
  論文  参考訳（メタデータ） (2022-11-08T17:40:50Z)
• Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report [59.831324427712815]
  この課題は、効率的なエンドツーエンドのAIベースの画像処理パイプラインを開発することを目的としている。 モデルはSnapdragonの8 Gen 1 GPUで評価され、一般的なディープラーニング運用の大部分で優れた加速結果が得られた。 提案されたソリューションは、最近のすべてのモバイルGPUと互換性があり、フルHD写真を20-50ミリ秒未満で処理でき、高い忠実度を達成できる。
  論文  参考訳（メタデータ） (2022-11-07T22:13:10Z)
• Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report [49.643297263102845]
  この課題は、エンドツーエンドのディープラーニングベースの画像信号処理パイプラインの開発にある。 提案手法は60-100ミリ秒以下のフルHD写真を高忠実度で処理できる。
  論文  参考訳（メタデータ） (2021-05-17T13:20:35Z)
• AWNet: Attentive Wavelet Network for Image ISP [14.58067200317891]
  本稿では,この学習可能な画像ISP問題に対処するために,AWNetと呼ばれるアテンション機構とウェーブレット変換を利用する新しいネットワークを提案する。 提案手法により,RAW情報から好意的な画像の詳細を復元し,より広い受容領域を実現することができる。 実験結果から,定性的,定量的両測定における設計の進歩が示唆された。
  論文  参考訳（メタデータ） (2020-08-20T23:28:41Z)
• Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
  PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
  論文  参考訳（メタデータ） (2020-02-13T14:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。