論文の概要: Event-based Continuous Color Video Decompression from Single Frames
- arxiv url: http://arxiv.org/abs/2312.00113v1
- Date: Thu, 30 Nov 2023 18:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:49:13.385491
- Title: Event-based Continuous Color Video Decompression from Single Frames
- Title(参考訳): 単一フレームからのイベントベース連続色映像圧縮
- Authors: Ziyun Wang, Friedhelm Hamann, Kenneth Chaney, Wen Jiang, Guillermo
Gallego, Kostas Daniilidis
- Abstract要約: 本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
- 参考スコア(独自算出の注目度): 38.59798259847563
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present ContinuityCam, a novel approach to generate a continuous video
from a single static RGB image, using an event camera. Conventional cameras
struggle with high-speed motion capture due to bandwidth and dynamic range
limitations. Event cameras are ideal sensors to solve this problem because they
encode compressed change information at high temporal resolution. In this work,
we propose a novel task called event-based continuous color video
decompression, pairing single static color frames and events to reconstruct
temporally continuous videos. Our approach combines continuous long-range
motion modeling with a feature-plane-based synthesis neural integration model,
enabling frame prediction at arbitrary times within the events. Our method does
not rely on additional frames except for the initial image, increasing, thus,
the robustness to sudden light changes, minimizing the prediction latency, and
decreasing the bandwidth requirement. We introduce a novel single objective
beamsplitter setup that acquires aligned images and events and a novel and
challenging Event Extreme Decompression Dataset (E2D2) that tests the method in
various lighting and motion profiles. We thoroughly evaluate our method through
benchmarking reconstruction as well as various downstream tasks. Our approach
significantly outperforms the event- and image- based baselines in the proposed
task.
- Abstract(参考訳): 本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
従来のカメラは、帯域幅とダイナミックレンジの制限のために高速モーションキャプチャに苦しむ。
イベントカメラは、圧縮された変化情報を高い時間分解能でエンコードするため、この問題を解決するのに理想的なセンサーである。
本研究では,時間的に連続した映像を再構成するイベントベース連続色フレームとイベントをペアリングする,イベントベース連続色ビデオ圧縮という新しいタスクを提案する。
本手法は,連続的長距離運動モデルと特徴平面に基づく合成ニューラル統合モデルを組み合わせて,イベント内の任意の時刻におけるフレーム予測を可能にする。
提案手法は,初期画像以外の追加フレームに依存しないため,突発的な光の変化に対するロバスト性の向上,予測遅延の最小化,帯域幅要件の低減が期待できる。
本稿では,一貫した画像やイベントを取得する単一目的ビームスプリッタと,様々な照明や動作プロファイルで手法をテストするイベント極端圧縮データセット(E2D2)を提案する。
提案手法は,様々なダウンストリームタスクと同様に,ベンチマーク・レコンストラクションによって徹底的に評価する。
提案手法は,提案課題における事象ベースラインと画像ベースラインを大幅に上回る。
関連論文リスト
- EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-13T15:42:04Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳(メタデータ) (2023-07-24T06:51:07Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - An Asynchronous Intensity Representation for Framed and Event Video
Sources [2.9097303137825046]
フレームデータと非フレームデータの両方に強度表現を導入する。
我々の表現は、強度の精度を高め、画素あたりのサンプル数を大幅に削減できることを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
論文 参考訳(メタデータ) (2023-01-20T19:46:23Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳(メタデータ) (2022-06-23T17:59:53Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - An Asynchronous Kalman Filter for Hybrid Event Cameras [13.600773150848543]
イベントカメラはhdrの視覚情報をぼやけることなく捉えるのに理想的だ。
従来のイメージセンサーは、ゆっくりと変化するシーンの絶対強度を効果的に測定するが、高いダイナミックレンジや素早く変化するシーンでは不十分である。
本稿では,ハイダイナミックレンジシナリオのためのイベントベースビデオ再構成パイプラインを提案する。
論文 参考訳(メタデータ) (2020-12-10T11:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。