論文の概要: Reducing the Sim-to-Real Gap for Event Cameras
- arxiv url: http://arxiv.org/abs/2003.09078v5
- Date: Sat, 22 Aug 2020 05:49:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 22:34:25.804067
- Title: Reducing the Sim-to-Real Gap for Event Cameras
- Title（参考訳）: イベントカメラ用シン・トゥ・リアルギャップの低減
- Authors: Timo Stoffregen, Cedric Scheerlinck, Davide Scaramuzza, Tom Drummond,
Nick Barnes, Lindsay Kleeman, Robert Mahony
- Abstract要約: イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
- 参考スコア（独自算出の注目度）: 64.89183456212069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are paradigm-shifting novel sensors that report asynchronous,
per-pixel brightness changes called 'events' with unparalleled low latency.
This makes them ideal for high speed, high dynamic range scenes where
conventional cameras would fail. Recent work has demonstrated impressive
results using Convolutional Neural Networks (CNNs) for video reconstruction and
optic flow with events. We present strategies for improving training data for
event based CNNs that result in 20-40% boost in performance of existing
state-of-the-art (SOTA) video reconstruction networks retrained with our
method, and up to 15% for optic flow networks. A challenge in evaluating event
based video reconstruction is lack of quality ground truth images in existing
datasets. To address this, we present a new High Quality Frames (HQF) dataset,
containing events and ground truth frames from a DAVIS240C that are
well-exposed and minimally motion-blurred. We evaluate our method on HQF +
several existing major event camera datasets.
- Abstract（参考訳）: イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
これは、従来のカメラが故障する高速でダイナミックレンジのシーンに理想的である。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
本稿では,既存のSOTA(State-of-the-art)ビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータの改善戦略と,光フローネットワークの最大15%について述べる。
イベントベースのビデオ再構成を評価する上での課題は、既存のデータセットの品質上の真実イメージの欠如である。
そこで本研究では,DAVIS240Cのイベントと地上の真理フレームを含む,高品質フレーム(HQF)データセットを提案する。
本手法はhqf+既存の主要なイベントカメラデータセットで評価する。
関連論文リスト
- EventHDR: from Event to High-Speed HDR Videos and Beyond [36.9225017403252]
本稿では,イベントシーケンスから高速HDR映像を再構成する畳み込みニューラルネットワークを提案する。
我々はまた、ペア化された高速HDRビデオとイベントストリームの実際のデータセットを収集する新しい光学システムを開発した。
論文 参考訳（メタデータ） (2024-09-25T15:32:07Z) - Gradient events: improved acquisition of visual information in event cameras [0.0]
従来の明るさイベントと同じ特性から恩恵を受ける新しいタイプのイベントである勾配イベントを提案する。
勾配イベントに基づくビデオ再構成は、既存の最先端の輝度イベントベースの手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2024-09-03T10:18:35Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks [16.432164340779266]
イベントベースビデオ再構成のための動的ニューラルネットワークアーキテクチャであるHyperE2VIDを提案する。
提案手法では,ハイパーネットワークを用いてコンテキスト融合モジュールによって誘導される画素ごとの適応フィルタを生成する。
論文 参考訳（メタデータ） (2023-05-10T18:00:06Z) - E2V-SDE: From Asynchronous Events to Fast and Continuous Video
Reconstruction via Neural Stochastic Differential Equations [23.866475611205736]
イベントカメラは、各ピクセルに対して非同期かつ独立にシーンの明るさ変化に応答する。
E2V-SDEは任意の時間ステップで画像を迅速に再構成し、目に見えないデータに対して現実的な予測を行うことができる。
画像品質の面では、LPIPSスコアは最大12%向上し、再構築速度はET-Netよりも87%高い。
論文 参考訳（メタデータ） (2022-06-15T15:05:10Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳（メタデータ） (2020-09-17T13:30:05Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。