論文の概要: Towards Real-World HDR Video Reconstruction: A Large-Scale Benchmark Dataset and A Two-Stage Alignment Network

• arxiv url: http://arxiv.org/abs/2405.00244v1
• Date: Tue, 30 Apr 2024 23:29:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:56:48.430965
• Title: Towards Real-World HDR Video Reconstruction: A Large-Scale Benchmark Dataset and A Two-Stage Alignment Network
• Title（参考訳）: リアルタイムHDRビデオ再構成に向けて:大規模ベンチマークデータセットと2段階アライメントネットワーク
• Authors: Yong Shu, Liquan Shen, Xiangyu Hu, Mengyao Li, Zihao Zhou,
• Abstract要約: 既存の手法は主に合成データセットに基づいて訓練されており、実際のシーンでは性能が良くない。 HDRビデオ再構成のための大規模実世界のベンチマークデータセットであるReal-Vを提案する。
• 参考スコア（独自算出の注目度）: 16.39592423564326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an important and practical way to obtain high dynamic range (HDR) video, HDR video reconstruction from sequences with alternating exposures is still less explored, mainly due to the lack of large-scale real-world datasets. Existing methods are mostly trained on synthetic datasets, which perform poorly in real scenes. In this work, to facilitate the development of real-world HDR video reconstruction, we present Real-HDRV, a large-scale real-world benchmark dataset for HDR video reconstruction, featuring various scenes, diverse motion patterns, and high-quality labels. Specifically, our dataset contains 500 LDRs-HDRs video pairs, comprising about 28,000 LDR frames and 4,000 HDR labels, covering daytime, nighttime, indoor, and outdoor scenes. To our best knowledge, our dataset is the largest real-world HDR video reconstruction dataset. Correspondingly, we propose an end-to-end network for HDR video reconstruction, where a novel two-stage strategy is designed to perform alignment sequentially. Specifically, the first stage performs global alignment with the adaptively estimated global offsets, reducing the difficulty of subsequent alignment. The second stage implicitly performs local alignment in a coarse-to-fine manner at the feature level using the adaptive separable convolution. Extensive experiments demonstrate that: (1) models trained on our dataset can achieve better performance on real scenes than those trained on synthetic datasets; (2) our method outperforms previous state-of-the-art methods. Our dataset is available at https://github.com/yungsyu99/Real-HDRV.
• Abstract（参考訳）: 高ダイナミックレンジ(HDR)ビデオを得るための重要かつ実用的な方法として、大規模な実世界のデータセットが欠如していることから、交互に露出するシーケンスからのHDRビデオ再構成はいまだ研究されていない。 既存の手法は主に合成データセットに基づいて訓練されており、実際のシーンでは性能が良くない。 本研究では,HDRビデオ再構成のための大規模リアルタイムベンチマークデータセットであるReal-HDRVについて述べる。 具体的には、日中、夜間、屋内、屋外のシーンをカバーする約28,000のLDRフレームと4000のHDRラベルからなる500のLDRとHDRのビデオペアを含む。 我々の知る限りでは、我々のデータセットはHDRビデオ再構成データセットの中で最大のものだ。 これに対応して,HDRビデオ再構成のためのエンドツーエンドネットワークを提案する。 具体的には、第1段階は、適応的に推定されたグローバルオフセットとグローバルアライメントを行い、その後のアライメントの困難さを軽減する。 第2段階は、適応分離可能な畳み込みを用いて、特徴レベルで粗大に局所的なアライメントを暗黙的に行う。 1)データセットでトレーニングされたモデルでは,合成データセットでトレーニングされたモデルよりも実際のシーンでのパフォーマンスが向上する。 データセットはhttps://github.com/yungsyu99/Real-HDRV.comから入手可能です。

関連論文リスト

• BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
  本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。 我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。 実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
  論文  参考訳（メタデータ） (2024-07-03T22:41:49Z)
• HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
  既存のHDR NVS法は主にNeRFに基づいている。 訓練時間は長く、推論速度は遅い。 我々は新しいフレームワークHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
  論文  参考訳（メタデータ） (2024-05-24T00:46:58Z)
• GTA-HDR: A Large-Scale Synthetic Dataset for HDR Image Reconstruction [11.610543327501995]
  High Dynamic Range(画像とビデオ)は幅広い用途がある。 High Dynamic Range(画像とビデオ)は幅広い用途がある。 低ダイナミックレンジ(Low Dynamic Range, LDR)から視覚的に正確なHDR画像を再構成する難しい作業は、視覚研究コミュニティで注目を集めている。
  論文  参考訳（メタデータ） (2024-03-26T16:24:42Z)
• Towards Efficient SDRTV-to-HDRTV by Learning from Image Formation [51.26219245226384]
  モダンディスプレイは、高ダイナミックレンジ(WCG)と広色域(SDR)で映像コンテンツをレンダリングすることができる 利用可能なリソースの大部分は、まだ標準動的範囲(SDR)にある。 我々は、SDRTV/TVコンテンツの形成をモデル化し、SDRTV-to-TVタスクを定義し、分析する。 本手法は主に超高精細テレビコンテンツ向けに設計されており、4K解像度画像の処理に有効で軽量である。
  論文  参考訳（メタデータ） (2023-09-08T02:50:54Z)
• RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image [36.17182977927645]
  高ダイナミックレンジ(RGB)画像は、標準画像よりもはるかに多くの強度レベルをキャプチャする。 現在の方法では、カメラ処理パイプラインによって劣化した8ビット低ダイナミックレンジ(LDR)s画像から、主にHDR画像を生成する。 既存の方法とは異なり、この研究の中心となる考え方は、より情報に富んだRawセンサーデータを取り入れてHDR画像を生成することである。
  論文  参考訳（メタデータ） (2023-09-05T07:58:21Z)
• HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB Domains [23.309488653045026]
  高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)ビデオと比較して視覚的品質が優れているため、ますます注目を集めている。 同時にLDRフレームを取得するのが難しいため、動的シーンのための実際のLDR-ペアはいまだに存在しない。 本研究では,2つの異なる露光画像を同時にキャプチャするスタッガーセンサを用いて,生領域とsRGB領域のHDRフレームに融合する手法を提案する。
  論文  参考訳（メタデータ） (2023-04-10T11:59:03Z)
• Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution [65.20905703823965]
  ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。 既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
  論文  参考訳（メタデータ） (2022-12-10T17:41:46Z)
• PVDD: A Practical Video Denoising Dataset with Real-World Dynamic Scenes [56.4361151691284]
  PVDD(Practical Video Denoising dataset)は,200個のノイズクリーンな動的ビデオペアをsRGBおよびRAW形式で格納する。 限られた動き情報からなる既存のデータセットと比較すると、PVDDは自然な動きの変化する動的なシーンをカバーしている。
  論文  参考訳（メタデータ） (2022-07-04T12:30:22Z)
• A Two-stage Deep Network for High Dynamic Range Image Reconstruction [0.883717274344425]
  本研究では,新しい2段階深層ネットワークを提案することにより,シングルショットLDRからHDRマッピングへの課題に取り組む。 提案手法は,カメラ応答機能(CRF)や露光設定など,ハードウェア情報を知ることなくHDR画像の再構築を図ることを目的とする。
  論文  参考訳（メタデータ） (2021-04-19T15:19:17Z)
• HDR Video Reconstruction: A Coarse-to-fine Network and A Real-world Benchmark Dataset [30.249052175655606]
  HDRビデオ再構築のための粗い深層学習フレームワークを紹介します。 まず,画像空間において粗いアライメントとピクセルブレンドを行い,粗いhdr映像を推定する。 第二に、粗いHDRビデオの特徴空間でより洗練されたアライメントと時間融合を行い、より良い再構築を実現します。
  論文  参考訳（メタデータ） (2021-03-27T16:40:05Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。