論文の概要: Efficient Unified Demosaicing for Bayer and Non-Bayer Patterned Image
Sensors
- arxiv url: http://arxiv.org/abs/2307.10667v1
- Date: Thu, 20 Jul 2023 07:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 14:10:03.630928
- Title: Efficient Unified Demosaicing for Bayer and Non-Bayer Patterned Image
Sensors
- Title(参考訳): ベイアーおよび非ベイヤパターン画像センサの効率的な統一デモサイシング
- Authors: Haechang Lee, Dongwon Park, Wongi Jeong, Kijeong Kim, Hyunwoo Je,
Dongil Ryu, Se Young Chun
- Abstract要約: モバイルカメラは、隣接ピクセルの均一なカラーユニットからなるユニークな非バイヤーカラーフィルタアレイ(CFA)パターンを採用している。
これらの非バイヤーセンサーは、光条件の異なるピクセルビンサイズが変更可能なため、従来のバイエルCFAよりも優れている。
これまではBayer CFAに重点を置いていた。
本稿では,従来のベイアRAWと各種非ベイアCFAのRAWデータの両方に異なる動作モードで適用可能な,効率的な統一復号化手法を提案する。
- 参考スコア(独自算出の注目度): 15.97521126493155
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As the physical size of recent CMOS image sensors (CIS) gets smaller, the
latest mobile cameras are adopting unique non-Bayer color filter array (CFA)
patterns (e.g., Quad, Nona, QxQ), which consist of homogeneous color units with
adjacent pixels. These non-Bayer sensors are superior to conventional Bayer CFA
thanks to their changeable pixel-bin sizes for different light conditions but
may introduce visual artifacts during demosaicing due to their inherent pixel
pattern structures and sensor hardware characteristics. Previous demosaicing
methods have primarily focused on Bayer CFA, necessitating distinct
reconstruction methods for non-Bayer patterned CIS with various CFA modes under
different lighting conditions. In this work, we propose an efficient unified
demosaicing method that can be applied to both conventional Bayer RAW and
various non-Bayer CFAs' RAW data in different operation modes. Our Knowledge
Learning-based demosaicing model for Adaptive Patterns, namely KLAP, utilizes
CFA-adaptive filters for only 1% key filters in the network for each CFA, but
still manages to effectively demosaic all the CFAs, yielding comparable
performance to the large-scale models. Furthermore, by employing meta-learning
during inference (KLAP-M), our model is able to eliminate unknown
sensor-generic artifacts in real RAW data, effectively bridging the gap between
synthetic images and real sensor RAW. Our KLAP and KLAP-M methods achieved
state-of-the-art demosaicing performance in both synthetic and real RAW data of
Bayer and non-Bayer CFAs.
- Abstract(参考訳): 最近のCMOSイメージセンサー(CIS)の物理的サイズが小さくなるにつれて、最新のモバイルカメラは、隣接する画素を持つ均一な色ユニットからなる独自の非バイヤーカラーフィルタアレイ(例えば、Quad、Nona、QxQ)パターンを採用している。
これらの非バイヤーセンサは、異なる光条件の画素ビンサイズが変更可能であるため、従来のバイエルCFAよりも優れているが、固有の画素パターン構造とセンサハードウェア特性により、分解時に視覚的アーティファクトを導入する可能性がある。
従来はバイエルCFAに重点を置いており、照明条件が異なる様々なCFAモードの非ベイエルパターンCISを再現する必要がある。
本研究では,従来のBayer RAWと,様々な非Bayer CFAのRAWデータに異なる動作モードで適用可能な,効率的な統一復調手法を提案する。
我々の知識学習に基づく適応パターンの復調モデル、すなわちKLAPは、CFA毎にネットワーク内の1%のキーフィルタに対してCFA適応フィルタを利用するが、それでもすべてのCFAを効果的に復調し、大規模モデルに匹敵する性能をもたらす。
さらに,推論中にメタラーニング(KLAP-M)を用いることで,実際のRAWデータから未知のセンサ生成物を排除し,合成画像と実センサRAWのギャップを効果的に埋めることができる。
KLAP法とKLAP-M法は,Bayer および非Bayer CFAの合成RAWデータと実RAWデータの両方において,最先端の復調性能を達成した。
関連論文リスト
- MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。
そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-18T13:32:59Z) - Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。
RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。
また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
論文 参考訳(メタデータ) (2024-09-11T06:12:03Z) - Make Explicit Calibration Implicit: Calibrate Denoiser Instead of the
Noise Model [83.9497193551511]
デジタルゲインやカメラセンサーによらず有効であるLED(Lighting Every Darkness)を導入する。
LEDは明示的なノイズモデルのキャリブレーションの必要性を排除し、高速な展開と最小限のデータを必要とする暗黙の微調整プロセスを活用する。
LEDは、センサー工学の利点を生かしながら、ディープラーニングの進歩にもっと注力することを可能にする。
論文 参考訳(メタデータ) (2023-08-07T10:09:11Z) - Deep Demosaicing for Polarimetric Filter Array Cameras [7.39819574829298]
そこで本研究では,カメラ画像を直接画素ごとのStokesベクトルに復調するCNNモデルを提案する。
実世界の学習データを効果的に取得するための,コンシューマLCD画面を用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-11-24T17:41:50Z) - Cross-Camera Deep Colorization [10.254243409261898]
本稿では,カラープラスモノデュアルカメラシステムからの画像の整列と融合を行う,エンドツーエンドの畳み込みニューラルネットワークを提案する。
提案手法は,約10dBPSNRゲインの大幅な改善を継続的に達成する。
論文 参考訳(メタデータ) (2022-08-26T11:02:14Z) - Learning Enriched Illuminants for Cross and Single Sensor Color
Constancy [182.4997117953705]
ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。
センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。
実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-03-21T15:45:35Z) - Learning to Erase the Bayer-Filter to See in the Dark [16.799967790243578]
低照度画像強調は、低照度環境で撮影された画像の可視性を高める上で中心的な役割を果たす。
まず、ディープニューラルネットワークに基づくDe-Bayer-Filterシミュレータを提案し、色付き生画像からモノクロ生画像を生成する。
次に,色付き生データを合成したモノクローム生データを融合することにより,低照度画像強調を実現するために,完全畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2022-03-08T12:22:31Z) - Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal
Processing [5.678834480723395]
我々は、カメラISPを改良し、異質なアーティファクトに対して堅牢なパッチベースのローカルサブスペースディープニューラルネットワークを提案する。
Patch Subspace Learning Autoencoder (PSL-AE) と呼ぶ。
PSL-AEは、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチを符号化する。
論文 参考訳(メタデータ) (2021-04-01T04:40:22Z) - Designing a Practical Degradation Model for Deep Blind Image
Super-Resolution [134.9023380383406]
単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。
本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
論文 参考訳(メタデータ) (2021-03-25T17:40:53Z) - Creating Artificial Modalities to Solve RGB Liveness [79.9255035557979]
我々は,スプーフ検出のためのエンドツーエンドパイプラインと組み合わせて,ランクプーリングと光流の2種類の人工変換を導入する。
提案手法は, 最大のクロスセクニティ対面アンチスプーフィングデータセットCASIA-SURF CeFA (RGB) の最先端化を実現する。
論文 参考訳(メタデータ) (2020-06-29T13:19:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。