論文の概要: Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs

• arxiv url: http://arxiv.org/abs/2404.10700v1
• Date: Tue, 16 Apr 2024 16:17:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 16:05:12.923219
• Title: Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs
• Title（参考訳）: Rawformer:学習可能なカメラISPのための未完成のRaw-to-Raw翻訳
• Authors: Georgy Perevozchikov, Nancy Mehta, Mahmoud Afifi, Radu Timofte,
• Abstract要約: 本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。
• 参考スコア（独自算出の注目度）: 53.68932498994655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern smartphone camera quality heavily relies on the image signal processor (ISP) to enhance captured raw images, utilizing carefully designed modules to produce final output images encoded in a standard color space (e.g., sRGB). Neural-based end-to-end learnable ISPs offer promising advancements, potentially replacing traditional ISPs with their ability to adapt without requiring extensive tuning for each new camera model, as is often the case for nearly every module in traditional ISPs. However, the key challenge with the recent learning-based ISPs is the urge to collect large paired datasets for each distinct camera model due to the influence of intrinsic camera characteristics on the formation of input raw images. This paper tackles this challenge by introducing a novel method for unpaired learning of raw-to-raw translation across diverse cameras. Specifically, we propose Rawformer, an unsupervised Transformer-based encoder-decoder method for raw-to-raw translation. It accurately maps raw images captured by a certain camera to the target camera, facilitating the generalization of learnable ISPs to new unseen cameras. Our method demonstrates superior performance on real camera datasets, achieving higher accuracy compared to previous state-of-the-art techniques, and preserving a more robust correlation between the original and translated raw images.
• Abstract（参考訳）: 現代のスマートフォンカメラの品質は、キャプチャされた生画像を強化するために、画像信号プロセッサ(ISP)に大きく依存しており、標準色空間(sRGBなど)で符号化された最終的な出力画像を生成するために、慎重に設計されたモジュールを活用している。 ニューラルベースのエンド・ツー・エンドの学習可能なISPは有望な進歩を提供し、従来のISPを新しいカメラモデルごとに広範囲のチューニングを必要とすることなく、適応できる能力に置き換える可能性がある。 しかし、近年の学習ベースISPの課題は、固有のカメラ特性が入力原画像形成に与える影響から、個々のカメラモデルごとに大きなペアデータセットを収集することである。 本稿では,多種多様なカメラを用いた生と生の翻訳を未経験で学習する手法を導入することで,この問題に対処する。 具体的には、生から生への翻訳のための教師なしトランスフォーマーベースのエンコーダデコーダであるRawformerを提案する。 特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。 提案手法は,従来の最先端技術と比較して精度が高く,オリジナル画像と翻訳画像との相関性も高いことを示す。

関連論文リスト

• RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images [51.68432586065828]
  本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。 Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
  論文  参考訳（メタデータ） (2024-08-27T06:14:54Z)
• Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
  ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。 我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。 本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-17T17:11:47Z)
• BSRAW: Improving Blind RAW Image Super-Resolution [63.408484584265985]
  RAW領域におけるブラインド画像の超解像化に取り組む。 生センサデータを用いたトレーニングモデルに特化した,現実的な劣化パイプラインを設計する。 私たちのパイプラインでトレーニングしたBSRAWモデルは、リアルタイムRAW画像をスケールアップし、品質を向上させることができます。
  論文  参考訳（メタデータ） (2023-12-24T14:17:28Z)
• ParamISP: Learned Forward and Inverse ISPs using Camera Parameters [27.244062839494]
  ParamISP は sRGB と RAW 画像の前後変換のための学習方式である。 データセット合成のデブロアリング、生のデブロアリング、HDR再構成、カメラからカメラへの転送など、さまざまな用途に効果的に使用できる。
  論文  参考訳（メタデータ） (2023-12-20T09:16:47Z)
• Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild [159.71025525493354]
  本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。 トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
  論文  参考訳（メタデータ） (2022-03-20T20:13:59Z)
• Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
  デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する 近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。 本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
  論文  参考訳（メタデータ） (2022-01-10T08:36:10Z)
• Del-Net: A Single-Stage Network for Mobile Camera ISP [14.168130234198467]
  スマートフォンカメラにおける従来の画像信号処理(ISP)パイプラインは、原センサーデータから高品質のsRGBイメージを順次再構成するための画像処理ステップで構成されている。 畳み込みニューラルネットワーク(CNN)を用いたディープラーニング手法は、画像のデノイング、コントラストの強化、超解像、デブロアリングなど、多くの画像関連タスクの解決に人気がある。 本稿では,スマートフォンの展開に適した複雑さでISPパイプライン全体を学ぶために,単一のエンドツーエンドディープラーニングモデルであるDelNetを提案する。
  論文  参考訳（メタデータ） (2021-08-03T16:51:11Z)
• Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
  PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
  論文  参考訳（メタデータ） (2020-02-13T14:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。