論文の概要: HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset
- arxiv url: http://arxiv.org/abs/2103.14943v1
- Date: Sat, 27 Mar 2021 16:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:06:07.035625
- Title: HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset
- Title(参考訳): HDRビデオ再構成:粗大なネットワークと実世界のベンチマークデータセット
- Authors: Guanying Chen, Chaofeng Chen, Shi Guo, Zhetong Liang, Kwan-Yee K.
Wong, Lei Zhang
- Abstract要約: HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
- 参考スコア(独自算出の注目度): 30.249052175655606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High dynamic range (HDR) video reconstruction from sequences captured with
alternating exposures is a very challenging problem. Existing methods often
align low dynamic range (LDR) input sequence in the image space using optical
flow, and then merge the aligned images to produce HDR output. However,
accurate alignment and fusion in the image space are difficult due to the
missing details in the over-exposed regions and noise in the under-exposed
regions, resulting in unpleasing ghosting artifacts. To enable more accurate
alignment and HDR fusion, we introduce a coarse-to-fine deep learning framework
for HDR video reconstruction. Firstly, we perform coarse alignment and pixel
blending in the image space to estimate the coarse HDR video. Secondly, we
conduct more sophisticated alignment and temporal fusion in the feature space
of the coarse HDR video to produce better reconstruction. Considering the fact
that there is no publicly available dataset for quantitative and comprehensive
evaluation of HDR video reconstruction methods, we collect such a benchmark
dataset, which contains $97$ sequences of static scenes and 184 testing pairs
of dynamic scenes. Extensive experiments show that our method outperforms
previous state-of-the-art methods. Our dataset, code and model will be made
publicly available.
- Abstract(参考訳): high dynamic range (hdr) video reconstruction from sequences capture with alternating exposures は、非常に難しい問題である。
既存の方法では、光学フローを用いて画像空間内の低ダイナミックレンジ(LDR)入力シーケンスを整列し、整列した画像をマージしてHDR出力を生成する。
しかし, 画像空間の正確なアライメントと融合は, 過剰露光領域の細部や未露光領域のノイズが不足しているため困難であり, ゴーストアーティファクトの減少を招いた。
より正確なアライメントとHDR融合を実現するため,HDRビデオ再構成のための粗い深層学習フレームワークを提案する。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第2に、粗いHDRビデオの特徴空間において、より洗練されたアライメントと時間的融合を行い、より良い再構成を実現する。
HDRビデオ再構成手法の定量的かつ包括的評価のための公開データセットがないことを考慮し,970ドルの静的シーンシーケンスと184回の動的シーンを含むベンチマークデータセットを収集する。
実験により,本手法は従来の最先端手法よりも優れた性能を示した。
私たちのデータセット、コード、モデルは公開されます。
関連論文リスト
- Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-26T08:10:22Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。
現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。
既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
論文 参考訳(メタデータ) (2023-09-05T07:58:21Z) - LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video
Reconstruction [20.911738532410766]
本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。
トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
論文 参考訳(メタデータ) (2023-08-22T01:43:00Z) - SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked
Autoencoders [97.64072440883392]
そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。
以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。
実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-04-14T03:42:51Z) - HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB
Domains [23.309488653045026]
高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。
同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。
本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
論文 参考訳(メタデータ) (2023-04-10T11:59:03Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - HDRVideo-GAN: Deep Generative HDR Video Reconstruction [19.837271879354184]
本稿では,LDR シーケンスからのHDR ビデオ再構成を交互に行うための,エンドツーエンドの GAN ベースのフレームワークを提案する。
まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。
次に、隣接する交互露光フレームを基準フレームに整列し、完全対向設定で高品質なHDRフレームを再構成する。
論文 参考訳(メタデータ) (2021-10-22T14:02:03Z) - A Two-stage Deep Network for High Dynamic Range Image Reconstruction [0.883717274344425]
本研究では,新しい2段階深層ネットワークを提案することにより,シングルショットLDRからHDRマッピングへの課題に取り組む。
提案手法は,カメラ応答機能(CRF)や露光設定など,ハードウェア情報を知ることなくHDR画像の再構築を図ることを目的とする。
論文 参考訳(メタデータ) (2021-04-19T15:19:17Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳(メタデータ) (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。