論文の概要: MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition

• arxiv url: http://arxiv.org/abs/2401.03220v1
• Date: Sat, 6 Jan 2024 14:06:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 19:50:42.839510
• Title: MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition
• Title（参考訳）: MetaISP -- 正確なマルチデバイスカラーレンディングのためのグローバルシーン構造を爆発させる
• Authors: Matheus Souza, Wolfgang Heidrich
• Abstract要約: 異なるデバイスの色と局所的なコントラスト特性の変換方法を学ぶために設計されたモデルであるMetaISPを提案する。 興味あるデバイスに基づいて出力の外観を調節する軽量な深層学習技術を用いて,この結果を実現する。
• 参考スコア（独自算出の注目度）: 17.986236212580565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image signal processors (ISPs) are historically grown legacy software systems for reconstructing color images from noisy raw sensor measurements. Each smartphone manufacturer has developed its ISPs with its own characteristic heuristics for improving the color rendition, for example, skin tones and other visually essential colors. The recent interest in replacing the historically grown ISP systems with deep-learned pipelines to match DSLR's image quality improves structural features in the image. However, these works ignore the superior color processing based on semantic scene analysis that distinguishes mobile phone ISPs from DSLRs. Here, we present MetaISP, a single model designed to learn how to translate between the color and local contrast characteristics of different devices. MetaISP takes the RAW image from device A as input and translates it to RGB images that inherit the appearance characteristics of devices A, B, and C. We achieve this result by employing a lightweight deep learning technique that conditions its output appearance based on the device of interest. In this approach, we leverage novel attention mechanisms inspired by cross-covariance to learn global scene semantics. Additionally, we use the metadata that typically accompanies RAW images and estimate scene illuminants when they are unavailable.
• Abstract（参考訳）: 画像信号プロセッサ(ISP)は、ノイズの多い生センサ測定からカラーイメージを再構築するための、歴史的に成長したソフトウェアシステムである。 各スマートフォンメーカーは、スキントーンやその他の視覚的に不可欠な色など、色調を改善するための独自のヒューリスティック技術を備えたISPを開発した。 歴史的に成長したispシステムをdslrの画像品質にマッチする深いパイプラインに置き換えることに対する最近の関心は、画像の構造的特徴を改善する。 しかし、これらの研究は、携帯電話ISPとDSLRを区別するセマンティックシーン分析に基づく優れたカラー処理を無視している。 ここでは、異なるデバイスの色と局所コントラスト特性の変換方法を学ぶために設計された単一のモデルであるMetaISPを紹介する。 MetaISPは、デバイスAからのRAW画像を入力として、デバイスA、B、Cの外観特性を継承するRGB画像に変換します。 このアプローチでは,相互共分散に触発された新しい注意機構を活用し,世界的シーン意味論を学習する。 さらに、通常RAW画像に付随するメタデータを使用し、不使用時のシーン照度を推定する。

関連論文リスト

• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
  本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-16T16:17:48Z)
• Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain [27.1716081216131]
  現在の方法では、携帯電話のRAW画像とDSLRカメラのRGB画像の違いを無視する。 本稿では、新しいNeural ISPフレームワーク、FourierISPを紹介する。 このアプローチは、画像を周波数領域内のスタイルと構造に分解し、独立した最適化を可能にする。
  論文  参考訳（メタデータ） (2024-01-04T09:18:31Z)
• Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
  生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。 ストレージの要求が大きいため、一般ユーザからは広く採用されていない。 本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-21T06:59:07Z)
• StereoISP: Rethinking Image Signal Processing for Dual Camera Systems [4.703692756660711]
  StereoISPは、ステレオカメラ対から生測値を用いて、デシックされたデノライズされたRGB画像を生成する。 KITTI 2015では,再建RGB画像のPSNRを少なくとも2dB改善した。
  論文  参考訳（メタデータ） (2022-11-11T18:34:59Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• CRISPnet: Color Rendition ISP Net [25.210464009273934]
  画像信号プロセッサ(ISP)は、ノイズの多い生センサ測定からカラーイメージを再構築するための、歴史的に成長したソフトウェアシステムである。 複雑でレガシなスマートフォンISPと比較して色再現精度を特に目標とする最初の学習ISPモデルであるCRISPnetを提案する。 また,高ダイナミックレンジモニタデータと実世界のデータの両方からなるISPイメージデータセットを,実際の携帯電話ISPパイプラインで取得する。
  論文  参考訳（メタデータ） (2022-03-20T14:28:38Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。