論文の概要: HDRFlow: Real-Time HDR Video Reconstruction with Large Motions
- arxiv url: http://arxiv.org/abs/2403.03447v1
- Date: Wed, 6 Mar 2024 04:13:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:13:32.966130
- Title: HDRFlow: Real-Time HDR Video Reconstruction with Large Motions
- Title(参考訳): HDRFlow:大きな動きを持つリアルタイムHDRビデオ再構成
- Authors: Gangwei Xu, Yujin Wang, Jinwei Gu, Tianfan Xue, Xin Yang
- Abstract要約: 本稿では,HDRFlowというリアルタイムHDRビデオ再構成に適した,ロバストで効率的な流れ推定器を提案する。
これは、720pの解像度入力を25msで処理できる、交互に露光したビデオシーケンスの初めてのリアルタイムHDRビデオ再構成手法である。
- 参考スコア(独自算出の注目度): 19.093690334526634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing High Dynamic Range (HDR) video from image sequences captured
with alternating exposures is challenging, especially in the presence of large
camera or object motion. Existing methods typically align low dynamic range
sequences using optical flow or attention mechanism for deghosting. However,
they often struggle to handle large complex motions and are computationally
expensive. To address these challenges, we propose a robust and efficient flow
estimator tailored for real-time HDR video reconstruction, named HDRFlow.
HDRFlow has three novel designs: an HDR-domain alignment loss (HALoss), an
efficient flow network with a multi-size large kernel (MLK), and a new HDR flow
training scheme. The HALoss supervises our flow network to learn an
HDR-oriented flow for accurate alignment in saturated and dark regions. The MLK
can effectively model large motions at a negligible cost. In addition, we
incorporate synthetic data, Sintel, into our training dataset, utilizing both
its provided forward flow and backward flow generated by us to supervise our
flow network, enhancing our performance in large motion regions. Extensive
experiments demonstrate that our HDRFlow outperforms previous methods on
standard benchmarks. To the best of our knowledge, HDRFlow is the first
real-time HDR video reconstruction method for video sequences captured with
alternating exposures, capable of processing 720p resolution inputs at 25ms.
- Abstract(参考訳): 高ダイナミックレンジ(hdr)映像を交互露光で撮影した画像から再構成することは、特に大きなカメラや物体の動きが存在する場合には困難である。
既存の方法では、光学フローやアテンション機構を用いて低ダイナミックレンジシーケンスを整列させるのが一般的である。
しかし、それらはしばしば大きな複雑な動きを扱うのに苦労し、計算コストがかかる。
そこで本稿では,リアルタイムhdr映像再構成のためのロバストで効率的なフロー推定器であるhdrflowを提案する。
HDRFlowには、HDRドメインアライメントロス(HALoss)、マルチサイズ大型カーネル(MLK)を備えた効率的なフローネットワーク、新しいHDRフロートレーニングスキームの3つの新しい設計がある。
HALossは私たちのフローネットワークを監督し、飽和領域と暗黒領域の正確なアライメントのためのHDR指向の流れを学習します。
MLKは、無視できるコストで、大きな動きを効果的にモデル化することができる。
さらに,トレーニングデータセットに合成データであるsintelを組み込み,その提供するフォワードフローと,当社が生成した逆流を利用してネットワークの監視を行い,大規模動作領域における性能向上を実現しています。
大規模な実験により、我々のHDRFlowは標準ベンチマークで過去の手法より優れていることが示された。
我々の知る限り、HDRFlowは、720pの解像度入力を25msで処理できる、交互に露出したビデオシーケンスをリアルタイムに再現する最初の方法である。
関連論文リスト
- Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
近年の拡散モデル (DM) はHDRイメージング分野に導入されている。
DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。
ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
論文 参考訳(メタデータ) (2024-04-01T01:32:11Z) - Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in
Dynamic Scenes [58.66427721308464]
Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。
Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-10-03T07:10:49Z) - RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。
現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。
既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
論文 参考訳(メタデータ) (2023-09-05T07:58:21Z) - Online Overexposed Pixels Hallucination in Videos with Adaptive
Reference Frame Selection [90.35085487641773]
低ダイナミックレンジ(LDR)カメラは広いダイナミックレンジ入力に対応できず、しばしば局所的な露出問題を引き起こす。
複雑な処理機構を使わずにこれらの成果物を削減できる学習ベースシステムを提案する。
論文 参考訳(メタデータ) (2023-08-29T17:40:57Z) - LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video
Reconstruction [20.911738532410766]
本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。
トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
論文 参考訳(メタデータ) (2023-08-22T01:43:00Z) - HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB
Domains [23.309488653045026]
高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。
同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。
本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
論文 参考訳(メタデータ) (2023-04-10T11:59:03Z) - GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。
鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。
実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
論文 参考訳(メタデータ) (2022-11-22T15:42:08Z) - HDRVideo-GAN: Deep Generative HDR Video Reconstruction [19.837271879354184]
本稿では,LDR シーケンスからのHDR ビデオ再構成を交互に行うための,エンドツーエンドの GAN ベースのフレームワークを提案する。
まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。
次に、隣接する交互露光フレームを基準フレームに整列し、完全対向設定で高品質なHDRフレームを再構成する。
論文 参考訳(メタデータ) (2021-10-22T14:02:03Z) - HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world
Benchmark Dataset [30.249052175655606]
HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。
まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。
第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
論文 参考訳(メタデータ) (2021-03-27T16:40:05Z) - Beyond Visual Attractiveness: Physically Plausible Single Image HDR
Reconstruction for Spherical Panoramas [60.24132321381606]
我々は,単発hdr再構成フレームワークに物理的照度制約を導入する。
本手法は,視覚に訴えるだけでなく,物理的に妥当なHDRを生成することができる。
論文 参考訳(メタデータ) (2021-03-24T01:51:19Z) - HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with
Large Motions [62.44802076971331]
マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。
本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
論文 参考訳(メタデータ) (2020-07-03T11:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。