論文の概要: HDRFlow: Real-Time HDR Video Reconstruction with Large Motions

• arxiv url: http://arxiv.org/abs/2403.03447v1
• Date: Wed, 6 Mar 2024 04:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 16:13:32.966130
• Title: HDRFlow: Real-Time HDR Video Reconstruction with Large Motions
• Title（参考訳）: HDRFlow:大きな動きを持つリアルタイムHDRビデオ再構成
• Authors: Gangwei Xu, Yujin Wang, Jinwei Gu, Tianfan Xue, Xin Yang
• Abstract要約: 本稿では,HDRFlowというリアルタイムHDRビデオ再構成に適した,ロバストで効率的な流れ推定器を提案する。 これは、720pの解像度入力を25msで処理できる、交互に露光したビデオシーケンスの初めてのリアルタイムHDRビデオ再構成手法である。
• 参考スコア（独自算出の注目度）: 19.093690334526634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing High Dynamic Range (HDR) video from image sequences captured with alternating exposures is challenging, especially in the presence of large camera or object motion. Existing methods typically align low dynamic range sequences using optical flow or attention mechanism for deghosting. However, they often struggle to handle large complex motions and are computationally expensive. To address these challenges, we propose a robust and efficient flow estimator tailored for real-time HDR video reconstruction, named HDRFlow. HDRFlow has three novel designs: an HDR-domain alignment loss (HALoss), an efficient flow network with a multi-size large kernel (MLK), and a new HDR flow training scheme. The HALoss supervises our flow network to learn an HDR-oriented flow for accurate alignment in saturated and dark regions. The MLK can effectively model large motions at a negligible cost. In addition, we incorporate synthetic data, Sintel, into our training dataset, utilizing both its provided forward flow and backward flow generated by us to supervise our flow network, enhancing our performance in large motion regions. Extensive experiments demonstrate that our HDRFlow outperforms previous methods on standard benchmarks. To the best of our knowledge, HDRFlow is the first real-time HDR video reconstruction method for video sequences captured with alternating exposures, capable of processing 720p resolution inputs at 25ms.
• Abstract（参考訳）: 高ダイナミックレンジ(hdr)映像を交互露光で撮影した画像から再構成することは、特に大きなカメラや物体の動きが存在する場合には困難である。 既存の方法では、光学フローやアテンション機構を用いて低ダイナミックレンジシーケンスを整列させるのが一般的である。 しかし、それらはしばしば大きな複雑な動きを扱うのに苦労し、計算コストがかかる。 そこで本稿では,リアルタイムhdr映像再構成のためのロバストで効率的なフロー推定器であるhdrflowを提案する。 HDRFlowには、HDRドメインアライメントロス(HALoss)、マルチサイズ大型カーネル(MLK)を備えた効率的なフローネットワーク、新しいHDRフロートレーニングスキームの3つの新しい設計がある。 HALossは私たちのフローネットワークを監督し、飽和領域と暗黒領域の正確なアライメントのためのHDR指向の流れを学習します。 MLKは、無視できるコストで、大きな動きを効果的にモデル化することができる。 さらに,トレーニングデータセットに合成データであるsintelを組み込み,その提供するフォワードフローと,当社が生成した逆流を利用してネットワークの監視を行い,大規模動作領域における性能向上を実現しています。 大規模な実験により、我々のHDRFlowは標準ベンチマークで過去の手法より優れていることが示された。 我々の知る限り、HDRFlowは、720pの解像度入力を25msで処理できる、交互に露出したビデオシーケンスをリアルタイムに再現する最初の方法である。

関連論文リスト

• Diffusion-Promoted HDR Video Reconstruction [45.73396977607666]
  高ダイナミックレンジ(LDR)ビデオ再構成は、低ダイナミックレンジ(LDR)フレームから交互に露出したHDRビデオを生成することを目的としている。 既存の作品の多くは回帰に基づくパラダイムにのみ依存しており、ゴーストのアーティファクトや飽和した地域での詳細の欠如といった悪影響につながっている。 本稿では,HDR-V-Diffと呼ばれるHDR映像再構成のための拡散促進手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T13:38:10Z)
• HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
  既存のHDR NVS法は主にNeRFに基づいている。 訓練時間は長く、推論速度は遅い。 我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
  論文  参考訳（メタデータ） (2024-05-24T00:46:58Z)
• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes [58.66427721308464]
  Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。 Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-10-03T07:10:49Z)
• LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction [20.911738532410766]
  本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。 トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
  論文  参考訳（メタデータ） (2023-08-22T01:43:00Z)
• Efficient HDR Reconstruction from Real-World Raw Images [16.54071503000866]
  エッジデバイス上の高解像度スクリーンは、効率的な高ダイナミックレンジ(HDR)アルゴリズムに対する強い需要を刺激する。 多くの既存のHDRメソッドは不満足な結果をもたらすか、計算資源やメモリ資源を消費する。 本研究では,生画像から直接HDRを再構成し,新しいニューラルネットワーク構造を探索する優れた機会を見出した。
  論文  参考訳（メタデータ） (2023-06-17T10:10:15Z)
• HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world Benchmark Dataset [30.249052175655606]
  HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。 まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。 第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
  論文  参考訳（メタデータ） (2021-03-27T16:40:05Z)
• Beyond Visual Attractiveness: Physically Plausible Single Image HDR Reconstruction for Spherical Panoramas [60.24132321381606]
  我々は,単発hdr再構成フレームワークに物理的照度制約を導入する。 本手法は,視覚に訴えるだけでなく,物理的に妥当なHDRを生成することができる。
  論文  参考訳（メタデータ） (2021-03-24T01:51:19Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。