論文の概要: Event-based Continuous Color Video Decompression from Single Frames
- arxiv url: http://arxiv.org/abs/2312.00113v2
- Date: Tue, 26 Nov 2024 17:17:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:23:39.548529
- Title: Event-based Continuous Color Video Decompression from Single Frames
- Title（参考訳）: 単一フレームからのイベントベース連続色映像圧縮
- Authors: Ziyun Wang, Friedhelm Hamann, Kenneth Chaney, Wen Jiang, Guillermo Gallego, Kostas Daniilidis,
- Abstract要約: 本研究では,静止RGB画像とイベントカメラストリームから連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングとニューラル合成モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
- 参考スコア（独自算出の注目度）: 36.4263932473053
- License:
- Abstract: We present ContinuityCam, a novel approach to generate a continuous video from a single static RGB image and an event camera stream. Conventional cameras struggle with high-speed motion capture due to bandwidth and dynamic range limitations. Event cameras are ideal sensors to solve this problem because they encode compressed change information at high temporal resolution. In this work, we tackle the problem of event-based continuous color video decompression, pairing single static color frames and event data to reconstruct temporally continuous videos. Our approach combines continuous long-range motion modeling with a neural synthesis model, enabling frame prediction at arbitrary times within the events. Our method only requires an initial image, thus increasing the robustness to sudden motions, light changes, minimizing the prediction latency, and decreasing bandwidth usage. We also introduce a novel single-lens beamsplitter setup that acquires aligned images and events, and a novel and challenging Event Extreme Decompression Dataset (E2D2) that tests the method in various lighting and motion profiles. We thoroughly evaluate our method by benchmarking color frame reconstruction, outperforming the baseline methods by 3.61 dB in PSNR and by 33% decrease in LPIPS, as well as showing superior results on two downstream tasks.
- Abstract（参考訳）: 本研究では,静止RGB画像とイベントカメラストリームから連続映像を生成する新しい手法であるContinuityCamを提案する。
従来のカメラは、帯域幅とダイナミックレンジの制限により、高速なモーションキャプチャに苦しむ。
イベントカメラは、高時間分解能で圧縮された変化情報を符号化するため、この問題を解決するのに理想的なセンサーである。
本研究では、時間的に連続した映像を再構成するために、イベントベースの連続色フレームとイベントデータをペアリングするイベントベース連続色ビデオ圧縮の問題に取り組む。
提案手法は、連続した長距離動きモデリングとニューラル合成モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
提案手法では,初期画像のみを必要とするため,突発的な動きに対するロバスト性,光の変化,予測遅延の最小化,帯域幅使用量の削減が可能である。
また、整列した画像やイベントを取得する新しい単一レンズビームスプリッタや、様々な照明や動作プロファイルでメソッドをテストする新しい、挑戦的なEvent Extreme Decompression Dataset (E2D2)も導入する。
カラーフレーム再構築のベンチマークを行い,PSNRでは3.61dB,LPIPSでは33%,ダウンストリームでは2つのタスクにおいて優れた結果が得られた。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - An Asynchronous Intensity Representation for Framed and Event Video
Sources [2.9097303137825046]
フレームデータと非フレームデータの両方に強度表現を導入する。
我々の表現は、強度の精度を高め、画素あたりのサンプル数を大幅に削減できることを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
論文 参考訳（メタデータ） (2023-01-20T19:46:23Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - An Asynchronous Kalman Filter for Hybrid Event Cameras [13.600773150848543]
イベントカメラはhdrの視覚情報をぼやけることなく捉えるのに理想的だ。
従来のイメージセンサーは、ゆっくりと変化するシーンの絶対強度を効果的に測定するが、高いダイナミックレンジや素早く変化するシーンでは不十分である。
本稿では,ハイダイナミックレンジシナリオのためのイベントベースビデオ再構成パイプラインを提案する。
論文 参考訳（メタデータ） (2020-12-10T11:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。