論文の概要: Enhanced Frame and Event-Based Simulator and Event-Based Video
Interpolation Network
- arxiv url: http://arxiv.org/abs/2112.09379v1
- Date: Fri, 17 Dec 2021 08:27:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 16:04:17.667288
- Title: Enhanced Frame and Event-Based Simulator and Event-Based Video
Interpolation Network
- Title(参考訳): 拡張フレームとイベントベースシミュレータとイベントベースビデオ補間ネットワーク
- Authors: Adam Radomski, Andreas Georgiou, Thomas Debrunner, Chenghan Li, Luca
Longinotti, Minwon Seo, Moosung Kwak, Chang-Woo Shin, Paul K. J. Park,
Hyunsurk Eric Ryu, Kynan Eng
- Abstract要約: 固定オフセットに任意の数のセンサを配置したカメラリグによって記録されたリアルなシーンを生成できる,新しい高度なイベントシミュレータを提案する。
これには、現実的な画質低下効果を持つフレームベースの新しいイメージセンサモデルと、より正確な特性を持つ拡張DVSモデルが含まれる。
我々のシミュレータによって生成されたデータは、我々の新しいモデルをトレーニングするために利用でき、その結果、アートの状況よりも同等またはより良い品質の公開データセット上の再構成画像が生成される。
- 参考スコア(独自算出の注目度): 1.4095425725284465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fast neuromorphic event-based vision sensors (Dynamic Vision Sensor, DVS) can
be combined with slower conventional frame-based sensors to enable
higher-quality inter-frame interpolation than traditional methods relying on
fixed motion approximations using e.g. optical flow. In this work we present a
new, advanced event simulator that can produce realistic scenes recorded by a
camera rig with an arbitrary number of sensors located at fixed offsets. It
includes a new configurable frame-based image sensor model with realistic image
quality reduction effects, and an extended DVS model with more accurate
characteristics. We use our simulator to train a novel reconstruction model
designed for end-to-end reconstruction of high-fps video. Unlike previously
published methods, our method does not require the frame and DVS cameras to
have the same optics, positions, or camera resolutions. It is also not limited
to objects a fixed distance from the sensor. We show that data generated by our
simulator can be used to train our new model, leading to reconstructed images
on public datasets of equivalent or better quality than the state of the art.
We also show our sensor generalizing to data recorded by real sensors.
- Abstract(参考訳): 高速ニューロモルフィックなイベントベースの視覚センサ(dynamic vision sensor, dvs)と従来のフレームベースのセンサーを組み合わせることで、例えば光学フローを用いた固定モーション近似に依存する従来の方法よりも高品質なフレーム間補間を可能にする。
本研究では,任意の数のセンサを一定オフセットに配置して,カメラリグで記録された実写的なシーンを再現する,高度なイベントシミュレータを提案する。
リアルな画質低減効果を持つ新しいフレームベースのイメージセンサモデルと、より正確な特性を持つ拡張されたdvsモデルが含まれている。
我々はシミュレーターを用いて、高fpsビデオのエンドツーエンド再生用に設計された新しい再構成モデルを訓練する。
従来の手法とは異なり、我々の手法ではフレームとDVSカメラは同じ光学、位置、カメラの解像度を持つ必要はない。
また、センサーから一定の距離の物体に限ったものではない。
シミュレーションによって生成されたデータは、新しいモデルのトレーニングに利用され、アートの状況と同等あるいはそれ以上の品質の公開データセットで再構成されたイメージにつながります。
また,実際のセンサで記録されたデータに一般化したセンサを示す。
関連論文リスト
- EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-13T15:42:04Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳(メタデータ) (2023-11-08T08:18:23Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame
Cameras [10.591040194296315]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-03T12:37:59Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳(メタデータ) (2023-08-01T09:14:20Z) - Multi-View Object Pose Refinement With Differentiable Renderer [22.040014384283378]
本稿では,合成データの学習方法の改善に焦点をあてた,新しい多視点6 DoFオブジェクトポーズ改善手法を提案する。
これはDPOD検出器に基づいており、各フレーム内のモデル頂点と画像画素との間の密度の高い2D-3D対応を生成する。
合成および実データに基づいて訓練された最先端の手法と比較して優れた性能を報告した。
論文 参考訳(メタデータ) (2022-07-06T17:02:22Z) - Motion-aware Dynamic Graph Neural Network for Video Compressive Sensing [17.441522549583805]
ビデオスナップショットイメージング(SCI)は、2D検出器を使用してシーケンシャルなビデオフレームをキャプチャし、それらを1つの測定値に圧縮する。
既存の再建手法の多くは、長期の空間的および時間的依存関係をキャプチャできない。
本稿では,空間内の画素間の非局所的相互作用を効率的にモデル化するための,グラフニューラルネットワーク(GNN)に基づくフレキシブルでロバストなアプローチを提案する。
論文 参考訳(メタデータ) (2022-03-01T12:13:46Z) - Video Reconstruction from a Single Motion Blurred Image using Learned
Dynamic Phase Coding [34.76550131783525]
単一動きブル画像を用いた映像再構成のためのハイブリッド光デジタル手法を提案する。
我々は、画像取得中にレンズ開口部の動的位相符号化を学習し、運動軌跡を符号化する。
提案した計算カメラは、単一の符号化されたモーションブルー画像から、様々なフレームレートでシーンのシャープなフレームバーストを生成する。
論文 参考訳(メタデータ) (2021-12-28T02:06:44Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳(メタデータ) (2021-09-30T17:12:59Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - How to Calibrate Your Event Camera [58.80418612800161]
画像再構成を用いた汎用イベントカメラキャリブレーションフレームワークを提案する。
ニューラルネットワークに基づく画像再構成は,イベントカメラの内在的・外在的キャリブレーションに適していることを示す。
論文 参考訳(メタデータ) (2021-05-26T07:06:58Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳(メタデータ) (2021-04-08T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。