論文の概要: Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild
- arxiv url: http://arxiv.org/abs/2203.10636v1
- Date: Sun, 20 Mar 2022 20:13:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 16:46:02.773171
- Title: Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild
- Title(参考訳): スマートフォンをデジタル一眼レフカメラに変える
- Authors: Ardhendu Shekhar Tripathi, Martin Danelljan, Samarth Shukla, Radu
Timofte, Luc Van Gool
- Abstract要約: 本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
- 参考スコア(独自算出の注目度): 159.71025525493354
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a trainable Image Signal Processing (ISP) framework that produces
DSLR quality images given RAW images captured by a smartphone. To address the
color misalignments between training image pairs, we employ a color-conditional
ISP network and optimize a novel parametric color mapping between each input
RAW and reference DSLR image. During inference, we predict the target color
image by designing a color prediction network with efficient Global Context
Transformer modules. The latter effectively leverage global information to
learn consistent color and tone mappings. We further propose a robust masked
aligned loss to identify and discard regions with inaccurate motion estimation
during training. Lastly, we introduce the ISP in the Wild (ISPW) dataset,
consisting of weakly paired phone RAW and DSLR sRGB images. We extensively
evaluate our method, setting a new state-of-the-art on two datasets.
- Abstract(参考訳): 本稿では,スマートフォンが取得したRAW画像に対して,DSLRの品質画像を生成するトレーニング可能な画像信号処理(ISP)フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
推定中,効率的なグローバルコンテキストトランスフォーマーモジュールを用いたカラー予測ネットワークの設計により,ターゲットカラー画像の予測を行う。
後者は、グローバル情報を利用して一貫性のある色とトーンマッピングを学ぶ。
さらに,トレーニング中の不正確な動作推定を伴う領域を識別・破棄するために,ロバストなマスク付きアライメント損失を提案する。
最後に、弱いペアの電話RAWとDSLR sRGB画像からなるWild(ISPW)データセットにISPを導入する。
2つのデータセットに新しい最先端技術を設定することで、我々の手法を広く評価する。
関連論文リスト
- MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device
Color Rendition [17.986236212580565]
異なるデバイスの色と局所的なコントラスト特性の変換方法を学ぶために設計されたモデルであるMetaISPを提案する。
興味あるデバイスに基づいて出力の外観を調節する軽量な深層学習技術を用いて,この結果を実現する。
論文 参考訳(メタデータ) (2024-01-06T14:06:29Z) - Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain [27.1716081216131]
現在の方法では、携帯電話のRAW画像とDSLRカメラのRGB画像の違いを無視する。
本稿では、新しいNeural ISPフレームワーク、FourierISPを紹介する。
このアプローチは、画像を周波数領域内のスタイルと構造に分解し、独立した最適化を可能にする。
論文 参考訳(メタデータ) (2024-01-04T09:18:31Z) - Image Demoireing in RAW and sRGB Domains [20.282217209520006]
Moirのパターンは、スマートフォンやカメラで画面をキャプチャするときに頻繁に現れ、画像の品質を損なう可能性がある。
これまでの研究では、RAWドメインにおけるモワールパターンの除去は、sRGBドメインにおけるデシアルの除去よりも効率が高いことが示唆された。
スマートフォンとデジタルカメラの両方で容易にアクセス可能なRAWデータとsRGBデータ(RRID)を併用した画像復号処理を提案する。
論文 参考訳(メタデータ) (2023-12-14T16:00:28Z) - Self-Supervised Reversed Image Signal Processing via Reference-Guided
Dynamic Parameter Selection [1.1602089225841632]
メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。
提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。
提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
論文 参考訳(メタデータ) (2023-03-24T11:12:05Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳(メタデータ) (2022-10-20T10:43:53Z) - Learning Enriched Illuminants for Cross and Single Sensor Color
Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。
センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。
実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-03-21T15:45:35Z) - Model-Based Image Signal Processors via Learnable Dictionaries [6.766416093990318]
デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する
近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。
本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
論文 参考訳(メタデータ) (2022-01-10T08:36:10Z) - Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。
実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2021-08-18T12:41:36Z) - Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。
このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
論文 参考訳(メタデータ) (2020-02-13T14:22:39Z) - Supervised and Unsupervised Learning of Parameterized Color Enhancement [112.88623543850224]
我々は、教師なし学習と教師なし学習の両方を用いて、画像翻訳タスクとしての色強調の問題に取り組む。
我々は,MIT-Adobe FiveKベンチマークにおいて,教師付き(ペアデータ)と教師なし(ペアデータ)の2つの画像強調手法と比較して,最先端の結果が得られた。
20世紀初頭の写真や暗黒ビデオフレームに応用することで,本手法の一般化能力を示す。
論文 参考訳(メタデータ) (2019-12-30T13:57:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。