論文の概要: Towards High-quality HDR Deghosting with Conditional Diffusion Models

• arxiv url: http://arxiv.org/abs/2311.00932v1
• Date: Thu, 2 Nov 2023 01:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 15:18:41.887986
• Title: Towards High-quality HDR Deghosting with Conditional Diffusion Models
• Title（参考訳）: 条件付き拡散モデルによる高品質HDRデゴーストの実現に向けて
• Authors: Qingsen Yan, Tao Hu, Yuan Sun, Hao Tang, Yu Zhu, Wei Dong, Luc Van Gool, Yanning Zhang
• Abstract要約: 高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
• 参考スコア（独自算出の注目度）: 88.83729417524823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High Dynamic Range (HDR) images can be recovered from several Low Dynamic Range (LDR) images by existing Deep Neural Networks (DNNs) techniques. Despite the remarkable progress, DNN-based methods still generate ghosting artifacts when LDR images have saturation and large motion, which hinders potential applications in real-world scenarios. To address this challenge, we formulate the HDR deghosting problem as an image generation that leverages LDR features as the diffusion model's condition, consisting of the feature condition generator and the noise predictor. Feature condition generator employs attention and Domain Feature Alignment (DFA) layer to transform the intermediate features to avoid ghosting artifacts. With the learned features as conditions, the noise predictor leverages a stochastic iterative denoising process for diffusion models to generate an HDR image by steering the sampling process. Furthermore, to mitigate semantic confusion caused by the saturation problem of LDR images, we design a sliding window noise estimator to sample smooth noise in a patch-based manner. In addition, an image space loss is proposed to avoid the color distortion of the estimated HDR results. We empirically evaluate our model on benchmark datasets for HDR imaging. The results demonstrate that our approach achieves state-of-the-art performances and well generalization to real-world images.
• Abstract（参考訳）: 高ダイナミックレンジ(HDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、いくつかの低ダイナミックレンジ(LDR)画像から復元することができる。 顕著な進歩にもかかわらず、DNNベースの手法は、LDR画像の飽和度と大きな動きが相変わらずゴーストアーティファクトを生成する。 この課題に対処するために,我々は,HDRデゴスティング問題を,特徴条件生成器とノイズ予測器からなる拡散モデルの条件としてLDR特徴を利用する画像生成として定式化する。 特徴条件生成は、ゴーストアーティファクトを避けるために中間特徴を変換するために注意とドメイン特徴アライメント(DFA)層を利用する。 学習した特徴を条件として、拡散モデルに対する確率的反復的復調プロセスを利用してサンプリング処理を操り、HDR画像を生成する。 さらに,LDR画像の飽和問題に起因する意味的混乱を軽減するために,スムースノイズをパッチベースでサンプリングするスライディングウインドウノイズ推定器を設計する。 さらに、推定したHDR結果の色歪みを回避するために、画像空間損失を提案する。 我々はhdrイメージングのためのベンチマークデータセットのモデルについて経験的に評価する。 その結果,本手法は最先端の性能を達成し,実世界画像への well generalization を実現することがわかった。

関連論文リスト

• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• Single Image LDR to HDR Conversion using Conditional Diffusion [18.466814193413487]
  デジタル画像は現実的なシーンを再現することを目的としているが、Low Dynamic Range(LDR)カメラは現実のシーンの広いダイナミックレンジを表現できない。 本稿では,影やハイライトから複雑な詳細を復元するための深層学習に基づくアプローチを提案する。 提案フレームワークにディープベースオートエンコーダを組み込んで,コンディショニングに使用するLDR画像の潜在表現の質を高める。
  論文  参考訳（メタデータ） (2023-07-06T07:19:47Z)
• SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders [97.64072440883392]
  そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。 以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。 実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-14T03:42:51Z)
• GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild [74.52723408793648]
  そこで本研究では,HDR画像の生成モデルを構築するための第1の手法について述べる。 鍵となる考え方は、GAN(Generative Adversarial Network)を訓練して、様々な露光下でLDRに投影された場合、実際のLDR画像と区別できないHDR画像を生成することである。 実験の結果,GlowGANはランドスケープ,雷,窓など多くの難題において,光現実的HDR画像を合成できることがわかった。
  論文  参考訳（メタデータ） (2022-11-22T15:42:08Z)
• SJ-HD^2R: Selective Joint High Dynamic Range and Denoising Imaging for Dynamic Scenes [17.867412310873732]
  Ghosting artifacts, Motion blur, Lowfidelity in highlightは、高ダイナミックレンジ(LDR)イメージングにおける主な課題である。 本稿では,2つのサブネットワークを含むHDRとデノナイズパイプラインを提案する。 私たちは、最初の共同HDRとデノナイジングベンチマークデータセットを作成します。
  論文  参考訳（メタデータ） (2022-06-20T07:49:56Z)
• FlexHDR: Modelling Alignment and Exposure Uncertainties for Flexible HDR Imaging [0.9185931275245008]
  高品質なHDR結果を生成するためにアライメントと露出の不確かさをモデル化する新しいHDRイメージング技術を提案する。 本研究では,HDRを意識した不確実性を考慮したアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・ 実験結果から,本手法は最先端の高画質HDR画像を最大0.8dBPSNRで生成できることがわかった。
  論文  参考訳（メタデータ） (2022-01-07T14:27:17Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。