論文の概要: HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset
- arxiv url: http://arxiv.org/abs/2103.14943v1
- Date: Sat, 27 Mar 2021 16:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 15:06:07.035625
- Title: HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset
- Title(参考訳): HDRビデオ再構成:粗大なネットワークと実世界のベンチマークデータセット
- Authors: Guanying Chen, Chaofeng Chen, Shi Guo, Zhetong Liang, Kwan-Yee K.
Wong, Lei Zhang
- Abstract要約: HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
- 参考スコア(独自算出の注目度): 30.249052175655606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High dynamic range (HDR) video reconstruction from sequences captured with
alternating exposures is a very challenging problem. Existing methods often
align low dynamic range (LDR) input sequence in the image space using optical
flow, and then merge the aligned images to produce HDR output. However,
accurate alignment and fusion in the image space are difficult due to the
missing details in the over-exposed regions and noise in the under-exposed
regions, resulting in unpleasing ghosting artifacts. To enable more accurate
alignment and HDR fusion, we introduce a coarse-to-fine deep learning framework
for HDR video reconstruction. Firstly, we perform coarse alignment and pixel
blending in the image space to estimate the coarse HDR video. Secondly, we
conduct more sophisticated alignment and temporal fusion in the feature space
of the coarse HDR video to produce better reconstruction. Considering the fact
that there is no publicly available dataset for quantitative and comprehensive
evaluation of HDR video reconstruction methods, we collect such a benchmark
dataset, which contains $97$ sequences of static scenes and 184 testing pairs
of dynamic scenes. Extensive experiments show that our method outperforms
previous state-of-the-art methods. Our dataset, code and model will be made
publicly available.
- Abstract(参考訳): high dynamic range (hdr) video reconstruction from sequences capture with alternating exposures は、非常に難しい問題である。
既存の方法では、光学フローを用いて画像空間内の低ダイナミックレンジ(LDR)入力シーケンスを整列し、整列した画像をマージしてHDR出力を生成する。
しかし, 画像空間の正確なアライメントと融合は, 過剰露光領域の細部や未露光領域のノイズが不足しているため困難であり, ゴーストアーティファクトの減少を招いた。
より正確なアライメントとHDR融合を実現するため,HDRビデオ再構成のための粗い深層学習フレームワークを提案する。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第2に、粗いHDRビデオの特徴空間において、より洗練されたアライメントと時間的融合を行い、より良い再構成を実現する。
HDRビデオ再構成手法の定量的かつ包括的評価のための公開データセットがないことを考慮し,970ドルの静的シーンシーケンスと184回の動的シーンを含むベンチマークデータセットを収集する。
実験により,本手法は従来の最先端手法よりも優れた性能を示した。
私たちのデータセット、コード、モデルは公開されます。
関連論文リスト
- A Cycle Ride to HDR: Semantics Aware Self-Supervised Framework for Unpaired LDR-to-HDR Image Translation [0.0]
低ダイナミックレンジ(LDR)から高ダイナミックレンジ(High Dynamic Range)への画像変換は重要なコンピュータビジョン問題である。
現在の最先端の手法のほとんどは、モデルトレーニングのための高品質なペアLDR、データセットを必要とする。
本稿では,改良型サイクル整合対向アーキテクチャを提案し,未ペアのLDR,データセットをトレーニングに利用した。
論文 参考訳(メタデータ) (2024-10-19T11:11:58Z) - Diffusion-Promoted HDR Video Reconstruction [45.73396977607666]
高ダイナミックレンジ(LDR)ビデオ再構成は、低ダイナミックレンジ(LDR)フレームから交互に露出したHDRビデオを生成することを目的としている。
既存の作品の多くは回帰に基づくパラダイムにのみ依存しており、ゴーストのアーティファクトや飽和した地域での詳細の欠如といった悪影響につながっている。
本稿では,HDR-V-Diffと呼ばれるHDR映像再構成のための拡散促進手法を提案する。
論文 参考訳(メタデータ) (2024-06-12T13:38:10Z) - HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
既存のHDR NVS法は主にNeRFに基づいている。
訓練時間は長く、推論速度は遅い。
我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
論文 参考訳(メタデータ) (2024-05-24T00:46:58Z) - Towards Real-World HDR Video Reconstruction: A Large-Scale Benchmark Dataset and A Two-Stage Alignment Network [16.39592423564326]
既存の手法は主に合成データセットに基づいて訓練されており、実際のシーンでは性能が良くない。
HDRビデオ再構成のための大規模実世界のベンチマークデータセットであるReal-Vを提案する。
論文 参考訳(メタデータ) (2024-04-30T23:29:26Z) - Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry
from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。
実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-26T08:10:22Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。
現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。
既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
論文 参考訳(メタデータ) (2023-09-05T07:58:21Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - HDRVideo-GAN: Deep Generative HDR Video Reconstruction [19.837271879354184]
本稿では,LDR シーケンスからのHDR ビデオ再構成を交互に行うための,エンドツーエンドの GAN ベースのフレームワークを提案する。
まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。
次に、隣接する交互露光フレームを基準フレームに整列し、完全対向設定で高品質なHDRフレームを再構成する。
論文 参考訳(メタデータ) (2021-10-22T14:02:03Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳(メタデータ) (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。