論文の概要: HDR Reconstruction from Bracketed Exposures and Events

• arxiv url: http://arxiv.org/abs/2203.14825v1
• Date: Mon, 28 Mar 2022 15:04:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 20:20:03.362251
• Title: HDR Reconstruction from Bracketed Exposures and Events
• Title（参考訳）: ブラケット付き露光・イベントからのHDR再構成
• Authors: Richard Shaw, Sibi Catley-Chandar, Ales Leonardis, Eduardo Perez-Pellitero
• Abstract要約: 高品質なHDR画像の再構成は、現代の計算写真の中心にある。 特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。 我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
• 参考スコア（独自算出の注目度）: 12.565039752529797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstruction of high-quality HDR images is at the core of modern computational photography. Significant progress has been made with multi-frame HDR reconstruction methods, producing high-resolution, rich and accurate color reconstructions with high-frequency details. However, they are still prone to fail in dynamic or largely over-exposed scenes, where frame misalignment often results in visible ghosting artifacts. Recent approaches attempt to alleviate this by utilizing an event-based camera (EBC), which measures only binary changes of illuminations. Despite their desirable high temporal resolution and dynamic range characteristics, such approaches have not outperformed traditional multi-frame reconstruction methods, mainly due to the lack of color information and low-resolution sensors. In this paper, we propose to leverage both bracketed LDR images and simultaneously captured events to obtain the best of both worlds: high-quality RGB information from bracketed LDRs and complementary high frequency and dynamic range information from events. We present a multi-modal end-to-end learning-based HDR imaging system that fuses bracketed images and event modalities in the feature domain using attention and multi-scale spatial alignment modules. We propose a novel event-to-image feature distillation module that learns to translate event features into the image-feature space with self-supervision. Our framework exploits the higher temporal resolution of events by sub-sampling the input event streams using a sliding window, enriching our combined feature representation. Our proposed approach surpasses SoTA multi-frame HDR reconstruction methods using synthetic and real events, with a 2dB and 1dB improvement in PSNR-L and PSNR-mu on the HdM HDR dataset, respectively.
• Abstract（参考訳）: 高品質なHDR画像の再構成は、現代の計算写真の中心にある。 マルチフレームhdr再構成法では,高精細で高精細で高精度な色再現が実現されている。 しかし、フレームのミスアライメントがしばしば目に見えるゴーストアーティファクトをもたらすような、動的または大部分が露出過剰なシーンで失敗する傾向にある。 近年のアプローチでは、照明の2値変化のみを測定するイベントベースカメラ(EBC)を用いてこれを緩和しようとしている。 望まれる高時間分解能とダイナミックレンジ特性にもかかわらず、これらの手法は色情報や低解像度センサの欠如により従来の多フレーム再構成手法よりも優れていなかった。 本稿では, ブラケット付きLDR画像と, 同時にキャプチャしたイベントを両世界の長所として活用し, ブラケット付きLDRから高画質なRGB情報と, イベントからの相補的な高周波およびダイナミックレンジ情報とを両世界の長所から得ることを提案する。 本稿では,注意と多スケール空間アライメントモジュールを用いて,特徴領域におけるブラケット画像とイベントモダリティを融合するマルチモーダル・エンド・ツー・エンド学習型hdrイメージングシステムを提案する。 イベント特徴を自己スーパービジョンで画像空間に変換することを学習する新しいイベント・ツー・イメージ機能蒸留モジュールを提案する。 当社のフレームワークでは,入力イベントストリームをスライディングウィンドウを使ってサブサンプリングすることで,イベントの時間分解能の向上を実現しています。 提案手法は,2dBと1dBのPSNR-LとPSNR-muをそれぞれHdM HDRデータセット上で改良し,合成イベントと実イベントを用いたSoTA多フレームHDR再構成手法を克服する。

関連論文リスト

• HDRT: Infrared Capture for HDR Imaging [8.208995723545502]
  本稿では,高ダイナミックレンジサーマル(HDRT, High Dynamic Range Thermal)という,別途利用可能な赤外線センサを用いたHDR取得手法を提案する。 本稿では、赤外線とSDRを組み合わせてHDR画像を生成する新しいディープニューラルネットワーク(HDRTNet)を提案する。 オーバー露光画像とアンダー露光画像の量的および定性的な品質向上を示すとともに,複数の異なる照明条件下での撮影に頑健であることを示す。
  論文  参考訳（メタデータ） (2024-06-08T13:43:44Z)
• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• Event-based Asynchronous HDR Imaging by Temporal Incident Light Modulation [54.64335350932855]
  我々は,HDRイメージングの課題に関する重要な知見に基づいて,Pixel-Asynchronous HDRイメージングシステムを提案する。 提案システムでは,DVS(Dynamic Vision Sensors)とLCDパネルを統合する。 LCDパネルは、その透過性を変化させてDVSの照射インシデントを変調し、ピクセル非依存のイベントストリームをトリガーする。
  論文  参考訳（メタデータ） (2024-03-14T13:45:09Z)
• Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
  高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
  論文  参考訳（メタデータ） (2023-11-02T01:53:55Z)
• Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes [58.66427721308464]
  Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。 Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-10-03T07:10:49Z)
• LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction [20.911738532410766]
  本稿では,LDRフレームを特徴空間に整列させ,その特徴をHDRフレームにマージする,エンドツーエンドのHDRビデオ合成フレームワークを提案する。 トレーニングでは、フレーム再構築損失に加えて時間的損失を採用し、時間的一貫性を高め、フリッカリングを低減する。
  論文  参考訳（メタデータ） (2023-08-22T01:43:00Z)
• Multi-Exposure HDR Composition by Gated Swin Transformer [8.619880437958525]
  本稿では,Swin Transformerに基づく新しいマルチ露光融合モデルを提案する。 露光空間ピラミッドにおける遠距離文脈依存性を自己認識機構により活用する。 実験により,本モデルが現在のマルチ露光HDR画像モデルと同等の精度が得られることが示された。
  論文  参考訳（メタデータ） (2023-03-15T15:38:43Z)
• Deep Progressive Feature Aggregation Network for High Dynamic Range Imaging [24.94466716276423]
  本研究では,動的シーンにおけるHDR画像の画質向上のための高度な特徴集約ネットワークを提案する。 提案手法は,高対応特徴を暗黙的にサンプリングし,それらを粗い方法で集約してアライメントする。 実験の結果,提案手法は異なるシーン下での最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2022-08-04T04:37:35Z)
• FlexHDR: Modelling Alignment and Exposure Uncertainties for Flexible HDR Imaging [0.9185931275245008]
  高品質なHDR結果を生成するためにアライメントと露出の不確かさをモデル化する新しいHDRイメージング技術を提案する。 本研究では,HDRを意識した不確実性を考慮したアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・ 実験結果から,本手法は最先端の高画質HDR画像を最大0.8dBPSNRで生成できることがわかった。
  論文  参考訳（メタデータ） (2022-01-07T14:27:17Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)
• HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions [62.44802076971331]
  マルチ露光LDR画像からHDR画像を合成するための新しいGANモデルHDR-GANを提案する。 本手法は,敵対学習を取り入れることで,欠落したコンテンツのある領域に忠実な情報を生成することができる。
  論文  参考訳（メタデータ） (2020-07-03T11:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。