論文の概要: Event-Enhanced Snapshot Compressive Videography at 10K FPS
- arxiv url: http://arxiv.org/abs/2404.07551v1
- Date: Thu, 11 Apr 2024 08:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 14:39:15.976296
- Title: Event-Enhanced Snapshot Compressive Videography at 10K FPS
- Title（参考訳）: 10K FPSでのイベント強調スナップショット圧縮ビデオ
- Authors: Bo Zhang, Jinli Suo, Qionghai Dai,
- Abstract要約: ビデオスナップショット圧縮画像(SCI)は、ターゲットのダイナミックシーンをコンパクトにスナップショットに符号化し、その後、その高速フレームシーケンスを再構成する。
本稿では,イベントカメラをビデオSCI設定に組み込んだハイブリッド"インテンシティ+イベント"イメージング手法を提案する。
高速CMOSイメージセンサを24FPSで動作させることで、0.1msの時間間隔で高品質なビデオ撮影を実現する。
- 参考スコア（独自算出の注目度）: 33.20071708537498
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Video snapshot compressive imaging (SCI) encodes the target dynamic scene compactly into a snapshot and reconstructs its high-speed frame sequence afterward, greatly reducing the required data footprint and transmission bandwidth as well as enabling high-speed imaging with a low frame rate intensity camera. In implementation, high-speed dynamics are encoded via temporally varying patterns, and only frames at corresponding temporal intervals can be reconstructed, while the dynamics occurring between consecutive frames are lost. To unlock the potential of conventional snapshot compressive videography, we propose a novel hybrid "intensity+event" imaging scheme by incorporating an event camera into a video SCI setup. Our proposed system consists of a dual-path optical setup to record the coded intensity measurement and intermediate event signals simultaneously, which is compact and photon-efficient by collecting the half photons discarded in conventional video SCI. Correspondingly, we developed a dual-branch Transformer utilizing the reciprocal relationship between two data modes to decode dense video frames. Extensive experiments on both simulated and real-captured data demonstrate our superiority to state-of-the-art video SCI and video frame interpolation (VFI) methods. Benefiting from the new hybrid design leveraging both intrinsic redundancy in videos and the unique feature of event cameras, we achieve high-quality videography at 0.1ms time intervals with a low-cost CMOS image sensor working at 24 FPS.
- Abstract（参考訳）: ビデオスナップショット圧縮画像(SCI)は、ターゲットのダイナミックシーンをコンパクトにスナップショットに符号化し、その後に高速フレームシーケンスを再構築し、必要なデータフットプリントと伝送帯域を大幅に削減し、低フレームレートのカメラで高速イメージングを可能にする。
実装では、時間的に異なるパターンを介して高速なダイナミクスを符号化し、対応する時間間隔のフレームのみを再構成でき、連続するフレーム間のダイナミクスは失われる。
従来のスナップショット圧縮ビデオ撮影の可能性を解き明かすため,イベントカメラをビデオSCI設定に組み込んだハイブリッド「インテンシティ+イベント」イメージング手法を提案する。
提案システムは、符号化された強度測定と中間事象信号とを同時に記録するデュアルパス光学装置で構成されており、従来のビデオSCIで捨てられた半光子を収集することにより、コンパクトで光子効率が高い。
これに対応して,2つのデータモード間の相互関係を利用して高密度ビデオフレームをデコードするデュアルブランチ変換器を開発した。
シミュレーションデータと実撮データの両方に対する大規模な実験により、最先端のビデオSCIとビデオフレーム補間(VFI)法に優位性が示された。
ビデオの固有冗長性とイベントカメラのユニークな特徴を活かした新しいハイブリッド設計により,高画質なビデオ撮影を0.1msの時間間隔で実現し,低コストなCMOSイメージセンサを24FPSで動作させる。
関連論文リスト
- EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z) - Sign-Coded Exposure Sensing for Noise-Robust High-Speed Imaging [16.58669052286989]
画素レベル符号符号化露光を用いた高速フレームの光学的圧縮を提案する。
ウォルシュ関数は、高速フレーム再構築時にノイズが増幅されないようにする。
ハードウェアプロトタイプは、周囲の光のみに照らされた移動シーンの4kHzフレームの再構成を実証した。
論文 参考訳（メタデータ） (2023-05-05T01:03:37Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - DeepHS-HDRVideo: Deep High Speed High Dynamic Range Video Reconstruction [23.341594337637545]
予め訓練されたビデオフレームネットワークを用いて、入力されたLDRフレームを整列する。
これにより,LDRフレームのアライメントが向上する。
また、高速FPS HDRビデオを生成するための最初の方法も提示する。
論文 参考訳（メタデータ） (2022-10-10T04:27:45Z) - Video frame interpolation for high dynamic range sequences captured with
dual-exposure sensors [24.086089662881044]
ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。
重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
論文 参考訳（メタデータ） (2022-06-19T20:29:34Z) - Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent
Neural Network [14.796204921975733]
デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。
既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。
本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-11T14:24:44Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳（メタデータ） (2021-06-30T01:09:24Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。