論文の概要: Event-based Continuous Color Video Decompression from Single Frames
- arxiv url: http://arxiv.org/abs/2312.00113v1
- Date: Thu, 30 Nov 2023 18:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:49:13.385491
- Title: Event-based Continuous Color Video Decompression from Single Frames
- Title（参考訳）: 単一フレームからのイベントベース連続色映像圧縮
- Authors: Ziyun Wang, Friedhelm Hamann, Kenneth Chaney, Wen Jiang, Guillermo
Gallego, Kostas Daniilidis
- Abstract要約: 本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
- 参考スコア（独自算出の注目度）: 38.59798259847563
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present ContinuityCam, a novel approach to generate a continuous video
from a single static RGB image, using an event camera. Conventional cameras
struggle with high-speed motion capture due to bandwidth and dynamic range
limitations. Event cameras are ideal sensors to solve this problem because they
encode compressed change information at high temporal resolution. In this work,
we propose a novel task called event-based continuous color video
decompression, pairing single static color frames and events to reconstruct
temporally continuous videos. Our approach combines continuous long-range
motion modeling with a feature-plane-based synthesis neural integration model,
enabling frame prediction at arbitrary times within the events. Our method does
not rely on additional frames except for the initial image, increasing, thus,
the robustness to sudden light changes, minimizing the prediction latency, and
decreasing the bandwidth requirement. We introduce a novel single objective
beamsplitter setup that acquires aligned images and events and a novel and
challenging Event Extreme Decompression Dataset (E2D2) that tests the method in
various lighting and motion profiles. We thoroughly evaluate our method through
benchmarking reconstruction as well as various downstream tasks. Our approach
significantly outperforms the event- and image- based baselines in the proposed
task.
- Abstract（参考訳）: 本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
従来のカメラは、帯域幅とダイナミックレンジの制限のために高速モーションキャプチャに苦しむ。
イベントカメラは、圧縮された変化情報を高い時間分解能でエンコードするため、この問題を解決するのに理想的なセンサーである。
本研究では,時間的に連続した映像を再構成するイベントベース連続色フレームとイベントをペアリングする,イベントベース連続色ビデオ圧縮という新しいタスクを提案する。
本手法は,連続的長距離運動モデルと特徴平面に基づく合成ニューラル統合モデルを組み合わせて,イベント内の任意の時刻におけるフレーム予測を可能にする。
提案手法は,初期画像以外の追加フレームに依存しないため,突発的な光の変化に対するロバスト性の向上,予測遅延の最小化,帯域幅要件の低減が期待できる。
本稿では,一貫した画像やイベントを取得する単一目的ビームスプリッタと,様々な照明や動作プロファイルで手法をテストするイベント極端圧縮データセット(E2D2)を提案する。
提案手法は,様々なダウンストリームタスクと同様に,ベンチマーク・レコンストラクションによって徹底的に評価する。
提案手法は,提案課題における事象ベースラインと画像ベースラインを大幅に上回る。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - An Asynchronous Intensity Representation for Framed and Event Video
Sources [2.9097303137825046]
フレームデータと非フレームデータの両方に強度表現を導入する。
我々の表現は、強度の精度を高め、画素あたりのサンプル数を大幅に削減できることを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
論文 参考訳（メタデータ） (2023-01-20T19:46:23Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - An Asynchronous Kalman Filter for Hybrid Event Cameras [13.600773150848543]
イベントカメラはhdrの視覚情報をぼやけることなく捉えるのに理想的だ。
従来のイメージセンサーは、ゆっくりと変化するシーンの絶対強度を効果的に測定するが、高いダイナミックレンジや素早く変化するシーンでは不十分である。
本稿では,ハイダイナミックレンジシナリオのためのイベントベースビデオ再構成パイプラインを提案する。
論文 参考訳（メタデータ） (2020-12-10T11:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。