論文の概要: Efficient HDR Reconstruction From Real-World Raw Images
- arxiv url: http://arxiv.org/abs/2306.10311v3
- Date: Mon, 4 Sep 2023 16:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 04:34:29.206206
- Title: Efficient HDR Reconstruction From Real-World Raw Images
- Title（参考訳）: 実世界の生画像からの効率的なHDR再構成
- Authors: Qirui Yang, Yihao Liu, Qihua Chen and Jingyu Yang
- Abstract要約: 高ダイナミックレンジ()イメージングは、ジェネリックイメージセンサのダイナミックレンジが限られているため、重大な問題であるが、難しい問題である。
既存の学習ベースのHDR再構成手法の多くは、ダイナミックレンジを拡張するために、ブラケット付き露光sRGB画像のセットを用いる。
本研究では、生画像から直接HDRを再構成する優れた機会を発見し、モバイルデバイスの展開に寄与する新しいニューラルネットワーク構造を探索する。
- 参考スコア（独自算出の注目度）: 9.278560676845181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High dynamic range (HDR) imaging is a significant yet challenging problem due
to the limited dynamic range of generic image sensors. Most existing
learning-based HDR reconstruction methods take a set of bracketed exposure sRGB
images to extend the dynamic range. However, they overlook the computational
and memory inefficiencies of Image Signal Processors (ISPs) when processing a
set of sRGB images with different exposures. Furthermore, the absence of
large-scale raw-based HDR datasets limits the research on HDR imaging. In this
work, in a new aspect, we discover an excellent opportunity for HDR
reconstructing directly from raw images and investigating novel neural network
structures that benefit the deployment of mobile devices. Meanwhile, we
construct a new HDR dataset containing raw images and process to obtain sRGB
images and design a new model to reconstruct HDR utilizing the unique
characteristics of long- and short-exposure images. Our key insights are
threefold: (1) a new computational raw LDR-HDR pair formation pipeline is
designed to construct a real-world raw HDR dataset called RealRaw-HDR; (2) a
lightweight-efficient HDR model, RepUNet, is developed using the structural
reparameterization technique; (3) a plug-and-play alignment-free and
motion-aware short-exposure-first selection loss and a colorfulness loss are
proposed to mitigate ghost artifacts and color cast. Extensive experiment
results demonstrate that our approach achieves state-of-the-art performance in
both visual quality and quantitative metrics.
- Abstract（参考訳）: 高ダイナミックレンジ(HDR)イメージングは、一般的な画像センサのダイナミックレンジが限られているため、重大な課題である。
既存の学習ベースのHDR再構成手法の多くは、ダイナミックレンジを拡張するために、ブラケット付き露光sRGB画像のセットを用いる。
しかし、異なる露光で一組のsRGB画像を処理する際に、ISP(Image Signal Processors)の計算とメモリの非効率性を見落としている。
さらに、大規模な生のHDRデータセットがないため、HDRイメージングの研究は制限される。
本研究は,新たな側面から,生画像から直接HDRを再構築する優れた機会を発見し,モバイルデバイスの展開に寄与する新しいニューラルネットワーク構造を探索する。
一方,srgb画像を得るための生画像とプロセスを含む新しいhdrデータセットを構築し,長短露光画像のユニークな特徴を利用したhdr再構成モデルを構築した。
1)新しい計算用LDR-HDRペア生成パイプラインはRealRaw-HDRと呼ばれる実世界の生HDRデータセットを構築するために設計され、(2)軽量なHDRモデルRepUNetは構造的パラメータ化技術を用いて開発され、(3)プラグアンドプレイアライメントフリーかつモーションアライメント対応のショート露光ファースト選択損失とカラフルネスの損失がゴーストアーティファクトやカラーキャストを緩和するために提案されている。
広汎な実験結果から,本手法は視覚的品質と定量的指標の両面で最先端の性能を達成することが示された。
関連論文リスト
- HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
既存のHDR NVS法は主にNeRFに基づいている。
訓練時間は長く、推論速度は遅い。
我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
論文 参考訳（メタデータ） (2024-05-24T00:46:58Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T08:10:22Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-10-03T07:10:49Z) - RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。
現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。
既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
論文 参考訳（メタデータ） (2023-09-05T07:58:21Z) - SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked
Autoencoders [97.64072440883392]
そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。
以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。
実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-04-14T03:42:51Z) - HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB
Domains [23.309488653045026]
高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。
同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。
本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
論文 参考訳（メタデータ） (2023-04-10T11:59:03Z) - A Two-stage Deep Network for High Dynamic Range Image Reconstruction [0.883717274344425]
本研究では,新しい2段階深層ネットワークを提案することにより,シングルショットLDRからHDRマッピングへの課題に取り組む。
提案手法は,カメラ応答機能(CRF)や露光設定など,ハードウェア情報を知ることなくHDR画像の再構築を図ることを目的とする。
論文 参考訳（メタデータ） (2021-04-19T15:19:17Z) - Beyond Visual Attractiveness: Physically Plausible Single Image HDR
Reconstruction for Spherical Panoramas [60.24132321381606]
我々は,単発hdr再構成フレームワークに物理的照度制約を導入する。
本手法は,視覚に訴えるだけでなく,物理的に妥当なHDRを生成することができる。
論文 参考訳（メタデータ） (2021-03-24T01:51:19Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳（メタデータ） (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。