論文の概要: Temporal-Mapping Photography for Event Cameras
- arxiv url: http://arxiv.org/abs/2403.06443v1
- Date: Mon, 11 Mar 2024 05:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 20:11:01.229642
- Title: Temporal-Mapping Photography for Event Cameras
- Title（参考訳）: イベントカメラの時間マップ撮影
- Authors: Yuhan Bao, Lei Sun, Yuqin Ma, Kaiwei Wang
- Abstract要約: イベントカメラは、従来の強度フレームではなく、連続したイベントストリームとして明るさの変化をキャプチャする。
我々は静的な場面で静止イベントカメラを用いて高密度画像変換を行う。
- 参考スコア（独自算出の注目度）: 5.838762448259289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras, or Dynamic Vision Sensors (DVS) are novel neuromorphic sensors
that capture brightness changes as a continuous stream of ``events'' rather
than traditional intensity frames. Converting sparse events to dense intensity
frames faithfully has long been an ill-posed problem. Previous methods have
primarily focused on converting events to video in dynamic scenes or with a
moving camera. In this paper, for the first time, we realize events to dense
intensity image conversion using a stationary event camera in static scenes.
Different from traditional methods that mainly rely on event integration, the
proposed Event-Based Temporal Mapping Photography (EvTemMap) measures the time
of event emitting for each pixel. Then, the resulting Temporal Matrix is
converted to an intensity frame with a temporal mapping neural network. At the
hardware level, the proposed EvTemMap is implemented by combining a
transmittance adjustment device with a DVS, named Adjustable Transmittance
Dynamic Vision Sensor. Additionally, we collected TemMat dataset under various
conditions including low-light and high dynamic range scenes. The experimental
results showcase the high dynamic range, fine-grained details, and
high-grayscale-resolution of the proposed EvTemMap, as well as the enhanced
performance on downstream computer vision tasks compared to other methods. The
code and TemMat dataset will be made publicly available.
- Abstract（参考訳）: イベントカメラ(Dynamic Vision Sensors、DVS)は、従来の強度フレームではなく、'events'の連続ストリームとして明るさ変化を捉える新しいニューロモルフィックセンサーである。
スパース事象を高密度フレームに忠実に変換することは、長い間不適切な問題であった。
これまでは、ダイナミックなシーンや動くカメラでイベントをビデオに変換する方法が主だった。
本稿では,静的なシーンにおける静止イベントカメラを用いて,高密度画像変換を行うイベントを初めて実現した。
イベント統合を主に依存する従来の方法とは異なり、evtemmap(event-based temporal mapping photography)は各ピクセルのイベント放出時間を測定する。
そして、得られた時間行列を、時間マッピングニューラルネットワークを備えた強度フレームに変換する。
ハードウェアレベルでは、提案したEvTemMapは、Adjustable Transmittance Dynamic Vision Sensorと呼ばれるDVSと送信調整装置を組み合わせて実装されている。
さらに、低照度および高ダイナミックレンジシーンを含む様々な条件下でTemMatデータセットを収集した。
実験では,提案するevtemmapの高ダイナミックレンジ,細粒度,高グレースケール解像度,下流コンピュータビジョンタスクの性能向上を他の手法と比較した。
コードとtemmatデータセットは公開される予定だ。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - Seeing Motion at Nighttime with an Event Camera [17.355331119296782]
イベントカメラは、高時間分解能(マイクロ秒)と高ダイナミックレンジ(120dB)で動的に反応する
主に学習可能なイベントタイムスタンプキャリブレーションモジュール(LETC)を含む夜間イベント再構築ネットワーク(NER-Net)を提案する。
我々は、64,200の空間的および時間的に整列した画像GTと低照度イベントを含む、同軸イメージングにより、ペア化された実光イベントデータセット(RLED)を構築した。
論文 参考訳（メタデータ） (2024-04-18T03:58:27Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳（メタデータ） (2022-08-24T09:39:55Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳（メタデータ） (2021-02-18T13:24:35Z) - Asynchronous Corner Tracking Algorithm based on Lifetime of Events for
DAVIS Cameras [0.9988653233188148]
イベントカメラ、すなわちダイナミックおよびアクティブピクセルビジョンセンサー(DAVIS)はシーンの強度変化を捉え、非同期でイベントストリームを生成する。
このようなカメラの出力速度は、高ダイナミックな環境で毎秒最大1000万イベントに達することができる。
DAVISカメラで捉えたイベントと強度画像の両方を利用した非同期コーナー追跡手法を提案する。
論文 参考訳（メタデータ） (2020-10-29T12:02:40Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。