論文の概要: Seeing Motion at Nighttime with an Event Camera

• arxiv url: http://arxiv.org/abs/2404.11884v1
• Date: Thu, 18 Apr 2024 03:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 13:11:02.794031
• Title: Seeing Motion at Nighttime with an Event Camera
• Title（参考訳）: イベントカメラによる夜間の視線
• Authors: Haoyue Liu, Shihan Peng, Lin Zhu, Yi Chang, Hanyu Zhou, Luxin Yan,
• Abstract要約: イベントカメラは、高時間分解能(マイクロ秒)と高ダイナミックレンジ(120dB)で動的に反応する 主に学習可能なイベントタイムスタンプキャリブレーションモジュール(LETC)を含む夜間イベント再構築ネットワーク(NER-Net)を提案する。 我々は、64,200の空間的および時間的に整列した画像GTと低照度イベントを含む、同軸イメージングにより、ペア化された実光イベントデータセット(RLED)を構築した。
• 参考スコア（独自算出の注目度）: 17.355331119296782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on a very challenging task: imaging at nighttime dynamic scenes. Most previous methods rely on the low-light enhancement of a conventional RGB camera. However, they would inevitably face a dilemma between the long exposure time of nighttime and the motion blur of dynamic scenes. Event cameras react to dynamic changes with higher temporal resolution (microsecond) and higher dynamic range (120dB), offering an alternative solution. In this work, we present a novel nighttime dynamic imaging method with an event camera. Specifically, we discover that the event at nighttime exhibits temporal trailing characteristics and spatial non-stationary distribution. Consequently, we propose a nighttime event reconstruction network (NER-Net) which mainly includes a learnable event timestamps calibration module (LETC) to align the temporal trailing events and a non-uniform illumination aware module (NIAM) to stabilize the spatiotemporal distribution of events. Moreover, we construct a paired real low-light event dataset (RLED) through a co-axial imaging system, including 64,200 spatially and temporally aligned image GTs and low-light events. Extensive experiments demonstrate that the proposed method outperforms state-of-the-art methods in terms of visual quality and generalization ability on real-world nighttime datasets. The project are available at: https://github.com/Liu-haoyue/NER-Net.
• Abstract（参考訳）: 私たちは、夜間のダイナミックシーンを撮影する、非常に難しいタスクに重点を置いています。 これまでの方法では、従来のRGBカメラの低照度化に頼っていた。 しかし、彼らは必然的に、夜間の長時間露光時間と、ダイナミックなシーンの運動のぼやけの間にジレンマに直面した。 イベントカメラは、高時間分解能(マイクロ秒)と高ダイナミックレンジ(120dB)で動的変化に反応し、代替ソリューションを提供する。 本研究では,イベントカメラを用いた夜間ダイナミックイメージング手法を提案する。 具体的には、夜間の事象は時間的経過特性と空間的非定常分布を示す。 その結果、学習可能なイベントタイムスタンプ校正モジュール(LETC)と、時空間の時空間分布を安定化させる非一様照明認識モジュール(NIAM)を主に含む夜間イベント再構築ネットワーク(NER-Net)を提案する。 さらに,64,200の空間的および時間的に整列した画像GTと低照度イベントを含む同軸イメージングシステムを用いて,ペア化された実低照度イベントデータセット(RLED)を構築した。 広汎な実験により,提案手法は実世界の夜間データセット上での視覚的品質と一般化能力において,最先端の手法よりも優れていた。 プロジェクトはhttps://github.com/Liu-haoyue/NER-Net.comで入手できる。

関連論文リスト

• EvenNICER-SLAM: Event-based Neural Implicit Encoding SLAM [69.83383687049994]
  密集した視覚的同時局所化とマッピングのための新しいアプローチである EvenNICER-SLAM を提案する。 EvenNICER-SLAMは、絶対輝度ではなく強度変化に対応するイベントカメラを内蔵している。 以上の結果から,イベントカメラによる高密度SLAMシステムの高速カメラ動作に対する堅牢性向上の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-04T13:52:01Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• Temporal-Mapping Photography for Event Cameras [5.344756442054121]
  イベントカメラ、またはダイナミックビジョンセンサー(DVS)は「イベント」の連続ストリームとして明るさの変化を捉えます。 スパース事象を高密度フレームに忠実に変換することは、長い間不適切な問題であった。 本稿では,静的なシーンにおける静止イベントカメラを用いて,高密度画像変換を行うイベントを初めて実現した。
  論文  参考訳（メタデータ） (2024-03-11T05:29:46Z)
• Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
  本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Deformable Convolutions and LSTM-based Flexible Event Frame Fusion Network for Motion Deblurring [7.187030024676791]
  イベントカメラは、非同期データシーケンスを生成するという点で、従来のRGBカメラとは異なる。 RGBカメラは固定レートですべてのフレームをキャプチャするが、イベントカメラはシーンの変化のみをキャプチャし、スパースと非同期のデータ出力をもたらす。 最近のCNNベースのデブロアリングソリューションは、イベントデータの蓄積に基づいて、複数の2次元イベントフレームを生成する。 特に、照明条件や現場における動きの速い物体の存在といった要因によって露光時間が異なるシナリオでは特に有用である。
  論文  参考訳（メタデータ） (2023-06-01T15:57:12Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• ESL: Event-based Structured Light [62.77144631509817]
  イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。 本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-30T15:47:39Z)
• The Spatio-Temporal Poisson Point Process: A Simple Model for the Alignment of Event Camera Data [19.73526916714181]
  イベントカメラは、視覚情報の自然で効率的な表現を提供する。 本稿では,その自然時間構造を捉えたイベントデータの新しいモデルを提案する。 DAVIS 240Cデータセット上での回転速度推定の精度向上について述べる。
  論文  参考訳（メタデータ） (2021-06-13T00:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。