論文の概要: EventHDR: from Event to High-Speed HDR Videos and Beyond

• arxiv url: http://arxiv.org/abs/2409.17029v1
• Date: Wed, 25 Sep 2024 15:32:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:04:59.663111
• Title: EventHDR: from Event to High-Speed HDR Videos and Beyond
• Title（参考訳）: EventHDR: イベントから高速HDRビデオまで
• Authors: Yunhao Zou, Ying Fu, Tsuyoshi Takatani, Yinqiang Zheng,
• Abstract要約: 本稿では,イベントシーケンスから高速HDR映像を再構成する畳み込みニューラルネットワークを提案する。 我々はまた、ペア化された高速HDRビデオとイベントストリームの実際のデータセットを収集する新しい光学システムを開発した。
• 参考スコア（独自算出の注目度）: 36.9225017403252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event cameras are innovative neuromorphic sensors that asynchronously capture the scene dynamics. Due to the event-triggering mechanism, such cameras record event streams with much shorter response latency and higher intensity sensitivity compared to conventional cameras. On the basis of these features, previous works have attempted to reconstruct high dynamic range (HDR) videos from events, but have either suffered from unrealistic artifacts or failed to provide sufficiently high frame rates. In this paper, we present a recurrent convolutional neural network that reconstruct high-speed HDR videos from event sequences, with a key frame guidance to prevent potential error accumulation caused by the sparse event data. Additionally, to address the problem of severely limited real dataset, we develop a new optical system to collect a real-world dataset with paired high-speed HDR videos and event streams, facilitating future research in this field. Our dataset provides the first real paired dataset for event-to-HDR reconstruction, avoiding potential inaccuracies from simulation strategies. Experimental results demonstrate that our method can generate high-quality, high-speed HDR videos. We further explore the potential of our work in cross-camera reconstruction and downstream computer vision tasks, including object detection, panoramic segmentation, optical flow estimation, and monocular depth estimation under HDR scenarios.
• Abstract（参考訳）: イベントカメラは、シーンダイナミクスを非同期にキャプチャする革新的なニューロモルフィックセンサーである。 イベントトリガ機構のため、このようなカメラは、従来のカメラに比べて応答遅延がはるかに短く、感度が高いイベントストリームを記録する。 これらの特徴に基づいて、以前の作品ではイベントからハイダイナミックレンジ(HDR)ビデオの再構成を試みたが、非現実的なアーティファクトに悩まされたり、十分なフレームレートの提供に失敗したりした。 本稿では,イベント列から高速なHDR映像を再構成するリカレント畳み込みニューラルネットワークを提案する。 さらに,高度に制限されたリアルタイムデータセットの問題に対処するため,高速HDRビデオとイベントストリームを組み合わせた実世界のデータセットを収集する光学システムを開発し,この分野における今後の研究を円滑に進める。 我々のデータセットは、シミュレーション戦略の潜在的な不正確さを回避し、イベント・ツー・HDR再構成のための最初の実ペアデータセットを提供する。 実験により,提案手法は高品質で高速なHDRビデオを生成することができることが示された。 さらに、物体検出、パノラマ分割、光フロー推定、HDRシナリオ下での単眼深度推定など、クロスカメラ再構成および下流コンピュータビジョンタスクにおける我々の研究の可能性について検討する。

関連論文リスト

• HDR Imaging for Dynamic Scenes with Events [2.750189317612375]
  本稿では,実世界の動的シナリオにおけるHDRI性能を一般化する,自己教師付き学習パラダイムにおけるイベントベースのHDRIフレームワークを提案する。 ぼやけたLDR画像から鋭いLDR画像へのクロスドメイン変換を学習することにより、自己教師付き学習戦略を実行する。 提案手法の有効性を評価するため,大規模合成および実世界のデータセットを構築した。
  論文  参考訳（メタデータ） (2024-04-04T05:33:06Z)
• Event-based Asynchronous HDR Imaging by Temporal Incident Light Modulation [54.64335350932855]
  我々は,HDRイメージングの課題に関する重要な知見に基づいて,Pixel-Asynchronous HDRイメージングシステムを提案する。 提案システムでは,DVS(Dynamic Vision Sensors)とLCDパネルを統合する。 LCDパネルは、その透過性を変化させてDVSの照射インシデントを変調し、ピクセル非依存のイベントストリームをトリガーする。
  論文  参考訳（メタデータ） (2024-03-14T13:45:09Z)
• EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset [55.12137324648253]
  イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。 本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-13T15:42:04Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Self-supervised HDR Imaging from Motion and Exposure Cues [14.57046548797279]
  本稿では,学習可能なHDR推定のための新たな自己教師型アプローチを提案する。 実験の結果,提案手法を用いて訓練したHDRモデルは,全監督下で訓練したモデルと性能の競争力を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-03-23T10:22:03Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)
• Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
  イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。 近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。 既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-20T02:44:29Z)
• EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
  イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントストリームからの強度画像の再構成手法が提案されている。 出力は依然として低解像度(LR)、ノイズ、非現実的である。 本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2020-03-17T10:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。