論文の概要: Event-assisted 12-stop HDR Imaging of Dynamic Scene

• arxiv url: http://arxiv.org/abs/2412.14705v1
• Date: Thu, 19 Dec 2024 10:17:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:19.209111
• Title: Event-assisted 12-stop HDR Imaging of Dynamic Scene
• Title（参考訳）: 動的シーンのイベント支援12ストップHDRイメージング
• Authors: Shi Guo, Zixuan Chen, Ziran Zhang, Yutian Chen, Gangwei Xu, Tianfan Xue,
• Abstract要約: 本稿では,イベントカメラとRGBカメラを備えたデュアルカメラシステムを利用して,ダイナミックシーンのための新しい12ストップHDRイメージング手法を提案する。 イベントカメラは、時間的に密度が高く、ダイナミックレンジの信号を提供し、LDRフレーム間のアライメントを大きな露出差で改善し、動きによって引き起こされるゴーストアーティファクトを減らす。 本手法は,動的シーンにおけるHDRイメージングを12停止まで拡張し,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 20.064191181938533
• License:
• Abstract: High dynamic range (HDR) imaging is a crucial task in computational photography, which captures details across diverse lighting conditions. Traditional HDR fusion methods face limitations in dynamic scenes with extreme exposure differences, as aligning low dynamic range (LDR) frames becomes challenging due to motion and brightness variation. In this work, we propose a novel 12-stop HDR imaging approach for dynamic scenes, leveraging a dual-camera system with an event camera and an RGB camera. The event camera provides temporally dense, high dynamic range signals that improve alignment between LDR frames with large exposure differences, reducing ghosting artifacts caused by motion. Also, a real-world finetuning strategy is proposed to increase the generalization of alignment module on real-world events. Additionally, we introduce a diffusion-based fusion module that incorporates image priors from pre-trained diffusion models to address artifacts in high-contrast regions and minimize errors from the alignment process. To support this work, we developed the ESHDR dataset, the first dataset for 12-stop HDR imaging with synchronized event signals, and validated our approach on both simulated and real-world data. Extensive experiments demonstrate that our method achieves state-of-the-art performance, successfully extending HDR imaging to 12 stops in dynamic scenes.
• Abstract（参考訳）: 高ダイナミックレンジイメージング(HDR)は、様々な照明条件の細部を撮影する計算撮影において重要な課題である。 低ダイナミックレンジ(LDR)フレームの整列は、動きや明るさの変化によって困難になるため、従来のHDR融合法では、極端な露光差を伴うダイナミックシーンの制限に直面している。 本研究では,イベントカメラとRGBカメラを備えたデュアルカメラシステムを活用した,ダイナミックシーンのための新しい12ストップHDRイメージング手法を提案する。 イベントカメラは、時間的に密度が高く、ダイナミックレンジの信号を提供し、LDRフレーム間のアライメントを大きな露出差で改善し、動きによって引き起こされるゴーストアーティファクトを減らす。 また,実世界のイベントにおけるアライメントモジュールの一般化を促進するために,実世界のファインタニング戦略を提案する。 さらに,事前学習した拡散モデルからのイメージ事前を組み込んで,高コントラスト領域のアーティファクトに対処し,アライメントプロセスからの誤りを最小限に抑える拡散ベース融合モジュールを提案する。 この作業を支援するために,12ストップHDRイメージングのための最初のデータセットであるESHDRデータセットを開発し,シミュレーションと実世界の両方のデータに対するアプローチを検証した。 広汎な実験により, 動的シーンにおけるHDRイメージングを12停止まで拡張し, 最先端の性能を実現することができた。

関連論文リスト

• HDR Imaging for Dynamic Scenes with Events [2.750189317612375]
  本稿では,実世界の動的シナリオにおけるHDRI性能を一般化する,自己教師付き学習パラダイムにおけるイベントベースのHDRIフレームワークを提案する。 ぼやけたLDR画像から鋭いLDR画像へのクロスドメイン変換を学習することにより、自己教師付き学習戦略を実行する。 提案手法の有効性を評価するため,大規模合成および実世界のデータセットを構築した。
  論文  参考訳（メタデータ） (2024-04-04T05:33:06Z)
• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• Event-based Asynchronous HDR Imaging by Temporal Incident Light Modulation [54.64335350932855]
  我々は,HDRイメージングの課題に関する重要な知見に基づいて,Pixel-Asynchronous HDRイメージングシステムを提案する。 提案システムでは,DVS(Dynamic Vision Sensors)とLCDパネルを統合する。 LCDパネルは、その透過性を変化させてDVSの照射インシデントを変調し、ピクセル非依存のイベントストリームをトリガーする。
  論文  参考訳（メタデータ） (2024-03-14T13:45:09Z)
• Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
  高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
  論文  参考訳（メタデータ） (2023-11-02T01:53:55Z)
• Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes [58.66427721308464]
  Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。 Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-10-03T07:10:49Z)
• SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders [97.64072440883392]
  そこで本研究では,SSHDRと呼ばれる2段階の訓練を通した短距離HDRイメージングを実現するための,新しい半教師付きアプローチを提案する。 以前の方法とは異なり、コンテンツを直接回復し、ゴーストを同時に除去することは、最適に達成することが難しい。 実験により、SSHDRは異なるデータセットの内外における定量的かつ定性的に最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-14T03:42:51Z)
• HDR Reconstruction from Bracketed Exposures and Events [12.565039752529797]
  高品質なHDR画像の再構成は、現代の計算写真の中心にある。 特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。 我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
  論文  参考訳（メタデータ） (2022-03-28T15:04:41Z)
• Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
  本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。 実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-03-23T10:22:03Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。