論文の概要: Diffusion-Promoted HDR Video Reconstruction

• arxiv url: http://arxiv.org/abs/2406.08204v1
• Date: Wed, 12 Jun 2024 13:38:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:46:00.407572
• Title: Diffusion-Promoted HDR Video Reconstruction
• Title（参考訳）: 拡散促進型HDRビデオ再構成
• Authors: Yuanshen Guan, Ruikang Xu, Mingde Yao, Ruisheng Gao, Lizhi Wang, Zhiwei Xiong,
• Abstract要約: 高ダイナミックレンジ(LDR)ビデオ再構成は、低ダイナミックレンジ(LDR)フレームから交互に露出したHDRビデオを生成することを目的としている。 既存の作品の多くは回帰に基づくパラダイムにのみ依存しており、ゴーストのアーティファクトや飽和した地域での詳細の欠如といった悪影響につながっている。 本稿では,HDR-V-Diffと呼ばれるHDR映像再構成のための拡散促進手法を提案する。
• 参考スコア（独自算出の注目度）: 45.73396977607666
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: High dynamic range (HDR) video reconstruction aims to generate HDR videos from low dynamic range (LDR) frames captured with alternating exposures. Most existing works solely rely on the regression-based paradigm, leading to adverse effects such as ghosting artifacts and missing details in saturated regions. In this paper, we propose a diffusion-promoted method for HDR video reconstruction, termed HDR-V-Diff, which incorporates a diffusion model to capture the HDR distribution. As such, HDR-V-Diff can reconstruct HDR videos with realistic details while alleviating ghosting artifacts. However, the direct introduction of video diffusion models would impose massive computational burden. Instead, to alleviate this burden, we first propose an HDR Latent Diffusion Model (HDR-LDM) to learn the distribution prior of single HDR frames. Specifically, HDR-LDM incorporates a tonemapping strategy to compress HDR frames into the latent space and a novel exposure embedding to aggregate the exposure information into the diffusion process. We then propose a Temporal-Consistent Alignment Module (TCAM) to learn the temporal information as a complement for HDR-LDM, which conducts coarse-to-fine feature alignment at different scales among video frames. Finally, we design a Zero-Init Cross-Attention (ZiCA) mechanism to effectively integrate the learned distribution prior and temporal information for generating HDR frames. Extensive experiments validate that HDR-V-Diff achieves state-of-the-art results on several representative datasets.
• Abstract（参考訳）: 高ダイナミックレンジ(HDR)ビデオ再構成は、低ダイナミックレンジ(LDR)フレームから交互に露出したHDRビデオを生成することを目的としている。 既存の作品の多くは回帰に基づくパラダイムにのみ依存しており、ゴーストのアーティファクトや飽和した地域での詳細の欠如といった悪影響につながっている。 本稿では,HDR-V-Diffと呼ばれるHDR映像再構成のための拡散促進手法を提案する。 そのため、HDR-V-Diffはゴースト・アーティファクトを緩和しつつ、リアルなディテールでHDRビデオを再構築することができる。 しかし、ビデオ拡散モデルの直接導入は、膨大な計算負担を課すことになる。 そこで我々はまず,HDRフレームの分布を学習するためのHDR遅延拡散モデル(HDR-LDM)を提案する。 具体的には、HDR-LDMは、HDRフレームを潜伏空間に圧縮するトネマッピング戦略と、拡散過程に露出情報を集約する新しい露光埋め込みとを具備する。 次に,HDR-LDMの補完として時間情報を学習するためのTCAMを提案する。 最後に,ZiCA(Zero-Init Cross-Attention)機構を設計し,HDRフレームを生成するための事前情報と時間情報を効果的に統合する。 大規模な実験により、HDR-V-Diffはいくつかの代表的なデータセットで最先端の結果が得られることが検証された。

関連論文リスト

• Exposure Completing for Temporally Consistent Neural High Dynamic Range Video Rendering [17.430726543786943]
  本稿では,不在な露光情報を完成させることで,HDRフレームを描画する新しいパラダイムを提案する。 提案手法では, 隣接LDRフレームを時間次元で補間し, 露出の欠如に対してLDRフレームを再構成する。 これにより、HDR結果の融合プロセスの恩恵を受け、ノイズやゴーストを低減し、時間的一貫性を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-18T09:13:08Z)
• HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting [76.5908492298286]
  既存のHDR NVS法は主にNeRFに基づいている。 既存のHDR NVS法は主にNeRFに基づいており、長いトレーニング時間と遅い推論速度に悩まされている。 我々は,新しいHDRビューを効率よくレンダリングできる新しいフレームワークであるHigh Dynamic Range Gaussian Splatting (-GS)を提案する。
  論文  参考訳（メタデータ） (2024-05-24T00:46:58Z)
• Exposure Diffusion: HDR Image Generation by Consistent LDR denoising [29.45922922270381]
  我々は、伝統的に「ブラケット」と呼ばれるLDR画像の集合を融合させ、単一のHDR画像を生成するHDR画像キャプチャー文献からインスピレーションを得る。 有効なHDR結果を生成する複数のLDRブラケットを生成するために,複数の復調処理を運用する。
  論文  参考訳（メタデータ） (2024-05-23T08:24:22Z)
• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction [20.911738532410766]
  本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。 トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
  論文  参考訳（メタデータ） (2023-08-22T01:43:00Z)
• GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
  そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。 鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。 実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
  論文  参考訳（メタデータ） (2022-11-22T15:42:08Z)
• HDRVideo-GAN: Deep Generative HDR Video Reconstruction [19.837271879354184]
  本稿では,LDR シーケンスからのHDR ビデオ再構成を交互に行うための,エンドツーエンドの GAN ベースのフレームワークを提案する。 まず、ノイズの多いLDRビデオからクリーンなLDRフレームを抽出し、自己教師付き環境で訓練された聴覚ネットワークと交互に露光する。 次に、隣接する交互露光フレームを基準フレームに整列し、完全対向設定で高品質なHDRフレームを再構成する。
  論文  参考訳（メタデータ） (2021-10-22T14:02:03Z)
• Beyond Visual Attractiveness: Physically Plausible Single Image HDR Reconstruction for Spherical Panoramas [60.24132321381606]
  我々は,単発hdr再構成フレームワークに物理的照度制約を導入する。 本手法は,視覚に訴えるだけでなく,物理的に妥当なHDRを生成することができる。
  論文  参考訳（メタデータ） (2021-03-24T01:51:19Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。