論文の概要: Model-Based Image Signal Processors via Learnable Dictionaries
- arxiv url: http://arxiv.org/abs/2201.03210v1
- Date: Mon, 10 Jan 2022 08:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 17:38:13.423552
- Title: Model-Based Image Signal Processors via Learnable Dictionaries
- Title（参考訳）: 学習可能な辞書を用いたモデルベース画像信号処理
- Authors: Marcos V. Conde, Steven McDonagh, Matteo Maggioni, Ale\v{s} Leonardis,
Eduardo P\'erez-Pellitero
- Abstract要約: デジタルカメラは画像信号処理装置(ISP)を用いてRAW読み出しをRGB画像に変換する
近年のアプローチでは、RGBからRAWマッピングを推定することで、このギャップを埋めようとしている。
本稿では,学習可能かつ解釈可能なハイブリッド・モデルベースかつデータ駆動型ISPを提案する。
- 参考スコア（独自算出の注目度）: 6.766416093990318
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Digital cameras transform sensor RAW readings into RGB images by means of
their Image Signal Processor (ISP). Computational photography tasks such as
image denoising and colour constancy are commonly performed in the RAW domain,
in part due to the inherent hardware design, but also due to the appealing
simplicity of noise statistics that result from the direct sensor readings.
Despite this, the availability of RAW images is limited in comparison with the
abundance and diversity of available RGB data. Recent approaches have attempted
to bridge this gap by estimating the RGB to RAW mapping: handcrafted
model-based methods that are interpretable and controllable usually require
manual parameter fine-tuning, while end-to-end learnable neural networks
require large amounts of training data, at times with complex training
procedures, and generally lack interpretability and parametric control. Towards
addressing these existing limitations, we present a novel hybrid model-based
and data-driven ISP that builds on canonical ISP operations and is both
learnable and interpretable. Our proposed invertible model, capable of
bidirectional mapping between RAW and RGB domains, employs end-to-end learning
of rich parameter representations, i.e. dictionaries, that are free from direct
parametric supervision and additionally enable simple and plausible data
augmentation. We evidence the value of our data generation process by extensive
experiments under both RAW image reconstruction and RAW image denoising tasks,
obtaining state-of-the-art performance in both. Additionally, we show that our
ISP can learn meaningful mappings from few data samples, and that denoising
models trained with our dictionary-based data augmentation are competitive
despite having only few or zero ground-truth labels.
- Abstract（参考訳）: デジタルカメラは、センサーRAWをイメージシグナルプロセッサ(ISP)を用いてRGBイメージに変換する。
画像のデノイジングやカラーコンステンシーなどの計算的写真撮影タスクは、ハードウェア設計に固有の部分があるだけでなく、直接のセンサーの読み出しから生じるノイズ統計の単純さにも起因して、生の領域で一般的に行われている。
それにもかかわらず、RAW画像の可用性は、利用可能なRGBデータの豊富さと多様性と比較して制限されている。
解釈可能で制御可能な手作りのモデルベースメソッドは通常手動パラメータの微調整を必要とし、エンドツーエンドの学習可能なニューラルネットワークは複雑なトレーニング手順で大量のトレーニングデータを必要とし、一般的には解釈可能性やパラメトリック制御が欠如している。
これらの制約に対処するために、我々は、標準ISP操作に基づいて学習可能かつ解釈可能な、新しいハイブリッドモデルベースおよびデータ駆動ISPを提案する。
提案する非可逆モデルはRAWドメインとRGBドメインの双方向マッピングが可能であり,直接パラメトリック監視が不要で,かつ,単純かつ可算なデータ拡張を可能にするリッチパラメータ表現(辞書)をエンドツーエンドで学習する。
我々は、RAW画像再構成とRAW画像復調の両タスクによる広範な実験により、データ生成プロセスの価値を実証し、両者の最先端性能を得る。
さらに、我々のispは、少数のデータサンプルから有意義なマッピングを学習できることを示し、辞書ベースのデータ拡張でトレーニングされたモデルに競争力があることを示した。
関連論文リスト
- A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。
実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
論文 参考訳（メタデータ） (2024-09-04T07:46:42Z) - RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images [51.68432586065828]
本稿では,カメラRAWデータへのsRGB事前学習モデルの適用を目的とした新しいアプローチであるRAW-Adapterを紹介する。
Raw-Adapterは、学習可能なISPステージを使用してRAW入力を調整する入力レベルアダプタと、ISPステージとその後の高レベルネットワーク間の接続を構築するモデルレベルアダプタで構成されている。
論文 参考訳（メタデータ） (2024-08-27T06:14:54Z) - Simple Image Signal Processing using Global Context Guidance [56.41827271721955]
ディープラーニングベースのISPは、深層ニューラルネットワークを使用してRAW画像をDSLRライクなRGBイメージに変換することを目指している。
我々は,全RAW画像からグローバルなコンテキスト情報をキャプチャするために,任意のニューラルISPに統合可能な新しいモジュールを提案する。
本モデルでは,多種多様な実スマートフォン画像を用いて,様々なベンチマークで最新の結果が得られる。
論文 参考訳（メタデータ） (2024-04-17T17:11:47Z) - Rawformer: Unpaired Raw-to-Raw Translation for Learnable Camera ISPs [53.68932498994655]
本稿では,多種多様なカメラを用いた生と生の翻訳の未ペアリング学習手法を提案する。
特定のカメラが捉えた生画像をターゲットカメラに正確にマッピングし、学習可能なISPを新しい目に見えないカメラに一般化する。
提案手法は,従来の最先端技術と比較して精度が高く,実際のカメラデータセットに優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-16T16:17:48Z) - Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。
ストレージの要求が大きいため、一般ユーザからは広く採用されていない。
本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-21T06:59:07Z) - Self-Supervised Reversed Image Signal Processing via Reference-Guided
Dynamic Parameter Selection [1.1602089225841632]
メタデータとペア画像を必要としない自己教師付き逆ISP方式を提案する。
提案手法は,RGB画像を参照RAW画像と同じセンサで同一環境で撮影されたRAWライクな画像に変換する。
提案手法は,他の最先端教師付き手法に匹敵する精度で,様々な逆ISPを学習可能であることを示す。
論文 参考訳（メタデータ） (2023-03-24T11:12:05Z) - Efficient Visual Computing with Camera RAW Snapshots [41.9863557302409]
従来のカメラはセンサ上の画像光を捕捉し、画像信号プロセッサ(ISP)を用いてRGB画像に変換する。
RAW画像にはキャプチャされた全ての情報が含まれているため、ISPを用いたRAWからRGBへの変換はビジュアルコンピューティングには必要ないと論じることができる。
RAW画像を用いた高レベルセマンティック理解と低レベル圧縮を実現するための新しい$rho$-Visionフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-15T12:54:21Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳（メタデータ） (2022-10-20T10:43:53Z) - Enabling ISP-less Low-Power Computer Vision [4.102254385058941]
汎用的な高レベル視覚タスクのための大規模ベンチマークの生版をリリースする。
ISPなしのCVシステムでは、生画像のトレーニングにより、テスト精度が7.1%向上する。
そこで本研究では,画素内CNN計算と組み合わせた,エネルギー効率のよいアナログインピクセル復号法を提案する。
論文 参考訳（メタデータ） (2022-10-11T13:47:30Z) - Transform your Smartphone into a DSLR Camera: Learning the ISP in the
Wild [159.71025525493354]
本稿では,スマートフォンが取得したRAW画像に基づいて,DSLRの品質画像を生成する訓練可能な画像信号処理フレームワークを提案する。
トレーニング画像ペア間の色ずれに対処するために、カラー条件ISPネットワークを使用し、各入力RAWと基準DSLR画像間の新しいパラメトリック色マッピングを最適化する。
論文 参考訳（メタデータ） (2022-03-20T20:13:59Z) - ISP Distillation [38.19032198060534]
オブジェクト認識やセマンティックセグメンテーションのような高レベルのマシンビジョンモデルは、画像がカメラによって標準的な画像空間に変換されると仮定する。
カメラISPは、マシンではなく、人間の観察者のために視覚的に喜ぶ画像を生成するために最適化されている。
オブジェクト分類とセマンティックセグメンテーションのためのRAW画像の性能は、ラベル付きRAW画像上で訓練されたモデルよりも著しく優れていることを示す。
論文 参考訳（メタデータ） (2021-01-25T16:12:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。