論文の概要: Enhanced Frame and Event-Based Simulator and Event-Based Video
Interpolation Network
- arxiv url: http://arxiv.org/abs/2112.09379v1
- Date: Fri, 17 Dec 2021 08:27:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 16:04:17.667288
- Title: Enhanced Frame and Event-Based Simulator and Event-Based Video
Interpolation Network
- Title（参考訳）: 拡張フレームとイベントベースシミュレータとイベントベースビデオ補間ネットワーク
- Authors: Adam Radomski, Andreas Georgiou, Thomas Debrunner, Chenghan Li, Luca
Longinotti, Minwon Seo, Moosung Kwak, Chang-Woo Shin, Paul K. J. Park,
Hyunsurk Eric Ryu, Kynan Eng
- Abstract要約: 固定オフセットに任意の数のセンサを配置したカメラリグによって記録されたリアルなシーンを生成できる,新しい高度なイベントシミュレータを提案する。
これには、現実的な画質低下効果を持つフレームベースの新しいイメージセンサモデルと、より正確な特性を持つ拡張DVSモデルが含まれる。
我々のシミュレータによって生成されたデータは、我々の新しいモデルをトレーニングするために利用でき、その結果、アートの状況よりも同等またはより良い品質の公開データセット上の再構成画像が生成される。
- 参考スコア（独自算出の注目度）: 1.4095425725284465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fast neuromorphic event-based vision sensors (Dynamic Vision Sensor, DVS) can
be combined with slower conventional frame-based sensors to enable
higher-quality inter-frame interpolation than traditional methods relying on
fixed motion approximations using e.g. optical flow. In this work we present a
new, advanced event simulator that can produce realistic scenes recorded by a
camera rig with an arbitrary number of sensors located at fixed offsets. It
includes a new configurable frame-based image sensor model with realistic image
quality reduction effects, and an extended DVS model with more accurate
characteristics. We use our simulator to train a novel reconstruction model
designed for end-to-end reconstruction of high-fps video. Unlike previously
published methods, our method does not require the frame and DVS cameras to
have the same optics, positions, or camera resolutions. It is also not limited
to objects a fixed distance from the sensor. We show that data generated by our
simulator can be used to train our new model, leading to reconstructed images
on public datasets of equivalent or better quality than the state of the art.
We also show our sensor generalizing to data recorded by real sensors.
- Abstract（参考訳）: 高速ニューロモルフィックなイベントベースの視覚センサ(dynamic vision sensor, dvs)と従来のフレームベースのセンサーを組み合わせることで、例えば光学フローを用いた固定モーション近似に依存する従来の方法よりも高品質なフレーム間補間を可能にする。
本研究では,任意の数のセンサを一定オフセットに配置して,カメラリグで記録された実写的なシーンを再現する,高度なイベントシミュレータを提案する。
リアルな画質低減効果を持つ新しいフレームベースのイメージセンサモデルと、より正確な特性を持つ拡張されたdvsモデルが含まれている。
我々はシミュレーターを用いて、高fpsビデオのエンドツーエンド再生用に設計された新しい再構成モデルを訓練する。
従来の手法とは異なり、我々の手法ではフレームとDVSカメラは同じ光学、位置、カメラの解像度を持つ必要はない。
また、センサーから一定の距離の物体に限ったものではない。
シミュレーションによって生成されたデータは、新しいモデルのトレーニングに利用され、アートの状況と同等あるいはそれ以上の品質の公開データセットで再構成されたイメージにつながります。
また,実際のセンサで記録されたデータに一般化したセンサを示す。
関連論文リスト
- Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。
固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。
本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T04:36:13Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-03T12:37:59Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳（メタデータ） (2023-08-01T09:14:20Z) - Video Reconstruction from a Single Motion Blurred Image using Learned
Dynamic Phase Coding [34.76550131783525]
単一動きブル画像を用いた映像再構成のためのハイブリッド光デジタル手法を提案する。
我々は、画像取得中にレンズ開口部の動的位相符号化を学習し、運動軌跡を符号化する。
提案した計算カメラは、単一の符号化されたモーションブルー画像から、様々なフレームレートでシーンのシャープなフレームバーストを生成する。
論文 参考訳（メタデータ） (2021-12-28T02:06:44Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳（メタデータ） (2021-09-30T17:12:59Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - How to Calibrate Your Event Camera [58.80418612800161]
画像再構成を用いた汎用イベントカメラキャリブレーションフレームワークを提案する。
ニューラルネットワークに基づく画像再構成は,イベントカメラの内在的・外在的キャリブレーションに適していることを示す。
論文 参考訳（メタデータ） (2021-05-26T07:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。