論文の概要: E2V-SDE: From Asynchronous Events to Fast and Continuous Video
Reconstruction via Neural Stochastic Differential Equations
- arxiv url: http://arxiv.org/abs/2206.07578v1
- Date: Wed, 15 Jun 2022 15:05:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 14:17:33.371460
- Title: E2V-SDE: From Asynchronous Events to Fast and Continuous Video
Reconstruction via Neural Stochastic Differential Equations
- Title（参考訳）: E2V-SDE:ニューラル確率微分方程式による非同期イベントから高速かつ連続的なビデオ再構成
- Authors: Jongwan Kim, DongJin Lee, Byunggook Na, Seongsik Park, Jeonghee Jo,
Sungroh Yoon
- Abstract要約: イベントカメラは、各ピクセルに対して非同期かつ独立にシーンの明るさ変化に応答する。
E2V-SDEは任意の時間ステップで画像を迅速に再構成し、目に見えないデータに対して現実的な予測を行うことができる。
画像品質の面では、LPIPSスコアは最大12%向上し、再構築速度はET-Netよりも87%高い。
- 参考スコア（独自算出の注目度）: 23.866475611205736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras respond to brightness changes in the scene asynchronously and
independently for every pixel. Due to the properties, these cameras have
distinct features: high dynamic range (HDR), high temporal resolution, and low
power consumption. However, the results of event cameras should be processed
into an alternative representation for computer vision tasks. Also, they are
usually noisy and cause poor performance in areas with few events. In recent
years, numerous researchers have attempted to reconstruct videos from events.
However, they do not provide good quality videos due to a lack of temporal
information from irregular and discontinuous data. To overcome these
difficulties, we introduce an E2V-SDE whose dynamics are governed in a latent
space by Stochastic differential equations (SDE). Therefore, E2V-SDE can
rapidly reconstruct images at arbitrary time steps and make realistic
predictions on unseen data. In addition, we successfully adopted a variety of
image composition techniques for improving image clarity and temporal
consistency. By conducting extensive experiments on simulated and real-scene
datasets, we verify that our model outperforms state-of-the-art approaches
under various video reconstruction settings. In terms of image quality, the
LPIPS score improves by up to 12% and the reconstruction speed is 87% higher
than that of ET-Net.
- Abstract（参考訳）: イベントカメラは、各ピクセルに対して非同期かつ独立にシーンの明るさ変化に応答する。
特性上、これらのカメラは高ダイナミックレンジ(hdr)、高時間分解能、低消費電力という特徴を持つ。
しかし、イベントカメラの結果はコンピュータビジョンタスクの代替表現として処理されるべきである。
また、通常は騒がしく、イベントが少ない地域では性能が悪い。
近年、多くの研究者がイベントのビデオの復元を試みている。
しかし、不規則で不連続なデータからの時間情報がないため、高品質なビデオを提供していない。
これらの問題を克服するために、確率微分方程式 (SDE) によって潜在空間で動力学が支配されるE2V-SDEを導入する。
したがって、E2V-SDEは任意の時間ステップで画像を迅速に再構成し、目に見えないデータに対して現実的な予測を行うことができる。
さらに,画像の明瞭度と時間的整合性を改善するために,様々な画像合成技術を採用した。
シミュレーションおよび実演データセットの広範な実験を行い,様々な映像再構成環境において,本モデルが最先端のアプローチよりも優れていることを検証した。
画像品質の面では、LPIPSスコアは最大12%向上し、再構築速度はET-Netよりも87%高い。
関連論文リスト
- LaSe-E2V: Towards Language-guided Semantic-Aware Event-to-Video Reconstruction [8.163356555241322]
セマンティック・アウェアの高品質なE2V再構成を実現する新しいフレームワークであるLaSe-E2Vを提案する。
まずイベント誘導時空間アテンション(ESA)モジュールを提案する。
次に、時間的コヒーレンスを確保するためのイベント対応マスクロスと、空間的一貫性を高めるためのノイズ戦略を導入する。
論文 参考訳（メタデータ） (2024-07-08T01:40:32Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-03T12:37:59Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳（メタデータ） (2022-12-22T18:54:34Z) - An Asynchronous Kalman Filter for Hybrid Event Cameras [13.600773150848543]
イベントカメラはhdrの視覚情報をぼやけることなく捉えるのに理想的だ。
従来のイメージセンサーは、ゆっくりと変化するシーンの絶対強度を効果的に測定するが、高いダイナミックレンジや素早く変化するシーンでは不十分である。
本稿では,ハイダイナミックレンジシナリオのためのイベントベースビデオ再構成パイプラインを提案する。
論文 参考訳（メタデータ） (2020-12-10T11:24:07Z) - Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
論文 参考訳（メタデータ） (2020-03-20T02:44:29Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。