論文の概要: Joint Denoising and Fusion with Short- and Long-exposure Raw Pairs
- arxiv url: http://arxiv.org/abs/2306.10311v4
- Date: Thu, 14 Dec 2023 07:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 04:41:20.063437
- Title: Joint Denoising and Fusion with Short- and Long-exposure Raw Pairs
- Title(参考訳): 短尺・長尺のルーペアによる関節脱神経と核融合
- Authors: Qirui Yang, Yihao Liu, Qihua Chen and Jingyu Yang
- Abstract要約: デノイングと高ダイナミックレンジ(露光)イメージングは、ジェネリックイメージセンサーの小さな開口とセンサーサイズのために重要な課題であるが、難しい問題である。
現在の方法では、ブラケット付き露光sRGB画像の集合から主にHDR画像を生成する。
従来の手法とは異なり、この研究の中心となる考え方は、信号対雑音比の短い露光画像と長い露光画像の差を利用して、HDR画像を生成して雑音化することである。
- 参考スコア(独自算出の注目度): 9.278560676845181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising and high dynamic range (HDR) imaging are significant yet
challenging problems due to the small aperture and sensor size of generic image
sensors. Current methods predominantly generate HDR images from a set of
bracketed exposure sRGB images. However, they overlook the computational and
memory inefficiencies of the Image Signal Processor (ISP) when processing a set
of sRGB images with different exposures. Furthermore, the absence of
large-scale raw-based HDR datasets limits the research on HDR imaging. Unlike
existing methods, the core idea of this work is to utilize the difference
between short- and long-exposure images of signal-to-noise ratios to generate
HDR images and denoising. To this end, we propose a model tailor-made for
double-exposure HDR sensors, leveraging the unique features of the raw data to
facilitate raw-to-HDR mapping and raw denoising. Our key insights are
threefold: (1) a new computational raw LDR-HDR pair formation pipeline is
designed to construct a real-world raw HDR dataset called RealRaw-HDR; (2) a
lightweight-efficient HDR model, RepUNet, is developed using the structural
reparameterization technique; (3) a plug-and-play alignment-free and
motion-aware short-exposure-first selection loss and a colorfulness loss are
proposed to mitigate ghost artifacts and color cast. Our empirical evaluation
validates the effectiveness of the proposed LDR-HDR formation pipeline, as well
as experiments show that our method achieves comparable performance to the
state-of-the-art methods with less computational cost.
- Abstract(参考訳): 一般的な画像センサの小型開口とセンササイズのため,高ダイナミックレンジ(HDR)撮像は重要な課題である。
現在の方法では、ブラケット付き露光sRGB画像から主にHDR画像を生成する。
しかし、異なる露光で一組のsRGB画像を処理する際に、画像信号処理装置(ISP)の計算とメモリの非効率性を見落としている。
さらに、大規模な生のHDRデータセットがないため、HDRイメージングの研究は制限される。
従来の手法と異なり、信号対雑音比の短時間露光画像と長時間露光画像の差を利用してhdr画像を生成し、ノイズ化させるという考え方である。
そこで本研究では,2重露光型HDRセンサのためのモデルライタを提案し,生データの特徴を活用して生間HDRマッピングと生デノーミングを容易にする。
1)新しい計算用LDR-HDRペア生成パイプラインはRealRaw-HDRと呼ばれる実世界の生HDRデータセットを構築するために設計され、(2)軽量なHDRモデルRepUNetは構造的パラメータ化技術を用いて開発され、(3)プラグアンドプレイアライメントフリーかつモーションアライメント対応のショート露光ファースト選択損失とカラフルネスの損失がゴーストアーティファクトやカラーキャストを緩和するために提案されている。
実験により,提案手法の有効性を検証し,計算コストを低減した最先端手法に匹敵する性能が得られることを示した。
関連論文リスト
- HistoHDR-Net: Histogram Equalization for Single LDR to HDR Image
Translation [12.45632443397018]
高ダイナミックレンジ(HDR)イメージングは、現実世界のシーンの高画質と明快さを再現することを目的としている。
この文献は、低ダイナミックレンジ(Low Dynamic Range, LDR)からのHDR画像再構成のための様々なデータ駆動手法を提供している。
これらのアプローチの共通する制限は、再構成されたHDR画像の領域における詳細が欠けていることである。
細部を復元するためのシンプルで効果的な手法Histo-Netを提案する。
論文 参考訳(メタデータ) (2024-02-08T20:14:46Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - FlexHDR: Modelling Alignment and Exposure Uncertainties for Flexible HDR
Imaging [0.9185931275245008]
高品質なHDR結果を生成するためにアライメントと露出の不確かさをモデル化する新しいHDRイメージング技術を提案する。
本研究では,HDRを意識した不確実性を考慮したアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・
実験結果から,本手法は最先端の高画質HDR画像を最大0.8dBPSNRで生成できることがわかった。
論文 参考訳(メタデータ) (2022-01-07T14:27:17Z) - HDR-NeRF: High Dynamic Range Neural Radiance Fields [70.80920996881113]
我々は、低ダイナミックレンジ(LDR)ビューの集合からHDR放射界を異なる露光で復元するために、高ダイナミックレンジニューラルレイディアンス場(-NeRF)を提案する。
異なる露出下で、新しいHDRビューと新しいLDRビューの両方を生成することができる。
論文 参考訳(メタデータ) (2021-11-29T11:06:39Z) - A Two-stage Deep Network for High Dynamic Range Image Reconstruction [0.883717274344425]
本研究では,新しい2段階深層ネットワークを提案することにより,シングルショットLDRからHDRマッピングへの課題に取り組む。
提案手法は,カメラ応答機能(CRF)や露光設定など,ハードウェア情報を知ることなくHDR画像の再構築を図ることを目的とする。
論文 参考訳(メタデータ) (2021-04-19T15:19:17Z) - Deep Snapshot HDR Imaging Using Multi-Exposure Color Filter Array [14.5106375775521]
本稿では,有効損失と入力データの正規化を同時に実現する輝度正規化の考え方を紹介する。
2つの公開HDR画像データセットを用いた実験結果から,我々のフレームワークが他のスナップショット手法より優れていることが示された。
論文 参考訳(メタデータ) (2020-11-20T06:31:37Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳(メタデータ) (2020-07-03T11:42:35Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。