論文の概要: Learned Lightweight Smartphone ISP with Unpaired Data

• arxiv url: http://arxiv.org/abs/2505.10420v1
• Date: Thu, 15 May 2025 15:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.389454
• Title: Learned Lightweight Smartphone ISP with Unpaired Data
• Title（参考訳）: 未ペアデータを用いた軽量スマートフォンISPの学習
• Authors: Andrei Arhire, Radu Timofte,
• Abstract要約: 学習可能な画像信号処理装置(ISP)のための新しいトレーニング手法を提案する。 我々の未経験アプローチは、敵の訓練によって導かれる多段階の損失関数を用いる。 ペア学習法と比較すると,我々の未経験学習戦略は強い可能性を示し,高い忠実性を実現する。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .
• Abstract（参考訳）: 画像信号処理装置(ISP)は、RAWセンサイメージデータをRGB画像に変換し、知覚品質に強い焦点をあてる、現代のスマートフォンカメラの基本コンポーネントである。 最近の研究は、ディープラーニングのアプローチの可能性と、プロのカメラに近い品質で詳細を捉える能力を強調している。 学習したISPを開発するときの困難かつコストのかかるステップは、スマートフォンカメラセンサーが捉えた生データを高品質な参照画像にマッピングするピクセルワイドなペアデータを取得することである。 本研究では,学習可能なISPのための新たなトレーニング手法を提案することにより,生画像と地上データとコンテンツとの直接対応を不要にすることで,この問題に対処する。 対象のRGBデータセットから色とテクスチャ特性を学習しながら、コンテンツ構造を維持するために、事前学習されたネットワークから特徴マップを処理する複数の識別器による敵の訓練によって導かれる多目的損失関数を用いる。 バックボーンとしてモバイルデバイスに適した軽量ニューラルネットワークアーキテクチャを用いて,Zurich RAWからRGB,富士フイルムUltraISPデータセットへの提案手法の評価を行った。 ペア学習法と比較すると,我々の未経験学習戦略は強いポテンシャルを示し,複数の評価指標間で高い忠実性を実現する。 コードと事前トレーニングされたモデルは、https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data で入手できる。

関連論文リスト

• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
  デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する 近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。 本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
  論文  参考訳（メタデータ） (2022-01-10T08:36:10Z)
• Del-Net: A Single-Stage Network for Mobile Camera ISP [14.168130234198467]
  スマートフォンカメラにおける従来の画像信号処理(ISP)パイプラインは、原センサーデータから高品質のsRGBイメージを順次再構成するための画像処理ステップで構成されている。 畳み込みニューラルネットワーク(CNN)を用いたディープラーニング手法は、画像のデノイング、コントラストの強化、超解像、デブロアリングなど、多くの画像関連タスクの解決に人気がある。 本稿では,スマートフォンの展開に適した複雑さでISPパイプライン全体を学ぶために,単一のエンドツーエンドディープラーニングモデルであるDelNetを提案する。
  論文  参考訳（メタデータ） (2021-08-03T16:51:11Z)
• Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
  PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
  論文  参考訳（メタデータ） (2020-02-13T14:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。