論文の概要: HDRVideo-GAN: Deep Generative HDR Video Reconstruction
- arxiv url: http://arxiv.org/abs/2110.11795v1
- Date: Fri, 22 Oct 2021 14:02:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 19:02:58.592964
- Title: HDRVideo-GAN: Deep Generative HDR Video Reconstruction
- Title(参考訳): HDRVideo-GAN:ディープジェネレーティブなHDRビデオ再構成
- Authors: Mrinal Anand, Nidhin Harilal, Chandan Kumar, Shanmuganathan Raman
- Abstract要約: 本稿では,LDR シーケンスからのHDR ビデオ再構成を交互に行うための,エンドツーエンドの GAN ベースのフレームワークを提案する。
まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。
次に、隣接する交互露光フレームを基準フレームに整列し、完全対向設定で高品質なHDRフレームを再構成する。
- 参考スコア(独自算出の注目度): 19.837271879354184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High dynamic range (HDR) videos provide a more visually realistic experience
than the standard low dynamic range (LDR) videos. Despite having significant
progress in HDR imaging, it is still a challenging task to capture high-quality
HDR video with a conventional off-the-shelf camera. Existing approaches rely
entirely on using dense optical flow between the neighboring LDR sequences to
reconstruct an HDR frame. However, they lead to inconsistencies in color and
exposure over time when applied to alternating exposures with noisy frames. In
this paper, we propose an end-to-end GAN-based framework for HDR video
reconstruction from LDR sequences with alternating exposures. We first extract
clean LDR frames from noisy LDR video with alternating exposures with a
denoising network trained in a self-supervised setting. Using optical flow, we
then align the neighboring alternating-exposure frames to a reference frame and
then reconstruct high-quality HDR frames in a complete adversarial setting. To
further improve the robustness and quality of generated frames, we incorporate
temporal stability-based regularization term along with content and style-based
losses in the cost function during the training procedure. Experimental results
demonstrate that our framework achieves state-of-the-art performance and
generates superior quality HDR frames of a video over the existing methods.
- Abstract(参考訳): 高ダイナミックレンジ(HDR)ビデオは、標準的な低ダイナミックレンジ(LDR)ビデオよりも視覚的にリアルな体験を提供する。
HDR画像の大幅な進歩にもかかわらず、従来のオフザシェルフカメラで高品質なHDRビデオを撮影することは依然として難しい課題である。
既存のアプローチは、HDRフレームを再構築するために、隣接するLDRシーケンス間の密度の高い光フローを使用することに完全に依存している。
しかし、ノイズフレームによる露光を交互に適用すると、時間とともに色と露光が矛盾する。
本稿では,ldrシーケンスからのhdr映像再構成のためのエンドツーエンドganベースフレームワークを提案する。
まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。
光フローを用いて、隣接する交互露光フレームを基準フレームに整列し、高品質なHDRフレームを完全対向的に再構成する。
生成したフレームのロバスト性と品質をさらに向上するために,時間安定性に基づく正規化期間と,トレーニング中のコスト関数のコンテントとスタイルに基づく損失を組み込む。
実験により,本フレームワークは最先端の性能を実現し,既存の手法よりも高品質なHDRフレームを生成することが示された。
関連論文リスト
- Event-based Asynchronous HDR Imaging by Temporal Incident Light Modulation [54.64335350932855]
我々は,HDRイメージングの課題に関する重要な知見に基づいて,Pixel-Asynchronous HDRイメージングシステムを提案する。
提案システムでは,DVS(Dynamic Vision Sensors)とLCDパネルを統合する。
LCDパネルは、その透過性を変化させてDVSの照射インシデントを変調し、ピクセル非依存のイベントストリームをトリガーする。
論文 参考訳(メタデータ) (2024-03-14T13:45:09Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - Online Overexposed Pixels Hallucination in Videos with Adaptive
Reference Frame Selection [90.35085487641773]
低ダイナミックレンジ(LDR)カメラは広いダイナミックレンジ入力に対応できず、しばしば局所的な露出問題を引き起こす。
複雑な処理機構を使わずにこれらの成果物を削減できる学習ベースシステムを提案する。
論文 参考訳(メタデータ) (2023-08-29T17:40:57Z) - LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video
Reconstruction [20.911738532410766]
本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。
トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
論文 参考訳(メタデータ) (2023-08-22T01:43:00Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - DeepHS-HDRVideo: Deep High Speed High Dynamic Range Video Reconstruction [23.341594337637545]
予め訓練されたビデオフレームネットワークを用いて、入力されたLDRフレームを整列する。
これにより,LDRフレームのアライメントが向上する。
また、高速FPS HDRビデオを生成するための最初の方法も提示する。
論文 参考訳(メタデータ) (2022-10-10T04:27:45Z) - StyleLight: HDR Panorama Generation for Lighting Estimation and Editing [98.20167223076756]
単一視野(LFOV)画像から高ダイナミックレンジ(GAN)屋内パノラマ光を生成するための新しい照明推定・編集フレームワークを提案する。
本フレームワークは室内照明推定における最先端手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-07-29T17:58:58Z) - Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。
実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
論文 参考訳(メタデータ) (2022-03-23T10:22:03Z) - Snapshot HDR Video Construction Using Coded Mask [25.12198906401246]
本研究は,3D-CNNを用いて,符号化LDRビデオによる共同デモサイクリング,デノナイジング,HDRビデオ再構成を行う。
得られた結果は有望であり、従来のカメラで手頃なHDRビデオ撮影に繋がる可能性がある。
論文 参考訳(メタデータ) (2021-12-05T09:32:11Z) - HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset [30.249052175655606]
HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
論文 参考訳(メタデータ) (2021-03-27T16:40:05Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳(メタデータ) (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。