論文の概要: Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision

• arxiv url: http://arxiv.org/abs/2108.08119v1
• Date: Wed, 18 Aug 2021 12:41:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:38:12.624188
• Title: Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision
• Title（参考訳）: 不正確なスーパービジョンを用いたRAW-to-sRGBマッピングの学習
• Authors: Zhilu Zhang, Haolin Wang, Ming Liu, Ruohao Wang, Jiawei Zhang, Wangmeng Zuo
• Abstract要約: 本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
• 参考スコア（独自算出の注目度）: 76.41657124981549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning RAW-to-sRGB mapping has drawn increasing attention in recent years, wherein an input raw image is trained to imitate the target sRGB image captured by another camera. However, the severe color inconsistency makes it very challenging to generate well-aligned training pairs of input raw and target sRGB images. While learning with inaccurately aligned supervision is prone to causing pixel shift and producing blurry results. In this paper, we circumvent such issue by presenting a joint learning model for image alignment and RAW-to-sRGB mapping. To diminish the effect of color inconsistency in image alignment, we introduce to use a global color mapping (GCM) module to generate an initial sRGB image given the input raw image, which can keep the spatial location of the pixels unchanged, and the target sRGB image is utilized to guide GCM for converting the color towards it. Then a pre-trained optical flow estimation network (e.g., PWC-Net) is deployed to warp the target sRGB image to align with the GCM output. To alleviate the effect of inaccurately aligned supervision, the warped target sRGB image is leveraged to learn RAW-to-sRGB mapping. When training is done, the GCM module and optical flow network can be detached, thereby bringing no extra computation cost for inference. Experiments show that our method performs favorably against state-of-the-arts on ZRR and SR-RAW datasets. With our joint learning model, a light-weight backbone can achieve better quantitative and qualitative performance on ZRR dataset. Codes are available at https://github.com/cszhilu1998/RAW-to-sRGB.
• Abstract（参考訳）: 近年、RAW-to-sRGBマッピングの学習が注目されており、入力された生画像は、他のカメラが捉えたターゲットsRGB画像を模倣するように訓練されている。 しかし、厳格な色相矛盾のため、入力raw画像とターゲットsrgb画像のトレーニングペアを生成するのは非常に困難である。 不正確な調整による学習は、ピクセルシフトを引き起こし、ぼやけた結果を生み出す傾向にある。 本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案することで,この問題を回避する。 画像アライメントにおける色の不整合性を低減するため,入力された原画像から初期sRGB画像を生成するためにグローバルカラーマッピング(GCM)モジュールを導入し,画素の空間的位置を一定に保ち,対象sRGB画像を用いて色変換のためのGCMを誘導する。 そして、予めトレーニングされた光フロー推定ネットワーク(例えばPWC-Net)を配置して目標のsRGB画像をワープし、GCM出力と整合させる。 不正確な調整の効果を軽減するために、歪んだターゲットsRGB画像を利用してRAW-to-sRGBマッピングを学習する。 トレーニングが完了すると、gcmモジュールとオプティカルフローネットワークを分離することができ、推論のための余分な計算コストが不要になる。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。 共同学習モデルにより,zrrデータセットにおいて,軽量バックボーンにより定量的・質的性能が向上する。 コードはhttps://github.com/cszhilu1998/RAW-to-sRGBで入手できる。

関連論文リスト

• Towards RAW Object Detection in Diverse Conditions [65.30190654593842]
  62のカテゴリにまたがる135,601のアノテーション付きインスタンスを備えた7,785の高分解能実RAW画像を提供するAODRawデータセットを紹介した。 sRGB と RAW の領域ギャップにより RAW オブジェクト検出の可能性は sRGB と RAW との事前学習によって制限されることがわかった。 我々は,RAW事前学習を支援するために,SRGBドメインで事前学習した市販のモデルから知識を抽出する。
  論文  参考訳（メタデータ） (2024-11-24T01:23:04Z)
• A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
  複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。 実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
  論文  参考訳（メタデータ） (2024-09-04T07:46:42Z)
• Raw Instinct: Trust Your Classifiers and Skip the Conversion [12.323236593352698]
  十分高度な分類器は、RGBと比較してRAW入力に対して等価な結果が得られることを示す。 さらに、RAW画像データからRAW画像の分類結果までの計算時間は、RGBよりも最大8.46倍高速であることを示す。
  論文  参考訳（メタデータ） (2024-03-21T14:45:41Z)
• Image Demoireing in RAW and sRGB Domains [18.921026683632146]
  我々は、Gated Feedback Module (GFM) と Frequency Selection Module (FSM) を備えたスキップ接続型復号モジュール(SCDM)を開発した。 我々はRGB Guided ISP(RGISP)を設計し、デバイス依存のISPを学習し、色回復のプロセスを支援する。 我々のRRIDは、PSNRでは0.62dB、SSIMでは0.003のモアレパターン除去とカラーキャスト補正の性能において、最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-12-14T16:00:28Z)
• Self-Supervised Reversed Image Signal Processing via Reference-Guided Dynamic Parameter Selection [1.1602089225841632]
  メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。 提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。 提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-24T11:12:05Z)
• Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report [109.2135194765743]
  本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。 我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
  論文  参考訳（メタデータ） (2022-10-20T10:43:53Z)
• Learning sRGB-to-Raw-RGB De-rendering with Content-Aware Metadata [46.28281823015191]
  我々は,サンプリングと再構築を共同で学習することで,デレンダリングの結果を改善する方法を示す。 実験の結果,既存の手法よりも画像内容に適応し,生の再現性を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T20:43:17Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。