論文の概要: An Asynchronous Intensity Representation for Framed and Event Video
Sources
- arxiv url: http://arxiv.org/abs/2301.08783v1
- Date: Fri, 20 Jan 2023 19:46:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 16:34:16.650045
- Title: An Asynchronous Intensity Representation for Framed and Event Video
Sources
- Title（参考訳）: フレーム化およびイベントビデオソースのための非同期インテンシティ表現
- Authors: Andrew C. Freeman, Montek Singh, Ketan Mayer-Patel
- Abstract要約: フレームデータと非フレームデータの両方に強度表現を導入する。
我々の表現は、強度の精度を高め、画素あたりのサンプル数を大幅に削減できることを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
- 参考スコア（独自算出の注目度）: 2.9097303137825046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuromorphic "event" cameras, designed to mimic the human vision system with
asynchronous sensing, unlock a new realm of high-speed and high dynamic range
applications. However, researchers often either revert to a framed
representation of event data for applications, or build bespoke applications
for a particular camera's event data type. To usher in the next era of video
systems, accommodate new event camera designs, and explore the benefits to
asynchronous video in classical applications, we argue that there is a need for
an asynchronous, source-agnostic video representation. In this paper, we
introduce a novel, asynchronous intensity representation for both framed and
non-framed data sources. We show that our representation can increase intensity
precision and greatly reduce the number of samples per pixel compared to
grid-based representations. With framed sources, we demonstrate that by
permitting a small amount of loss through the temporal averaging of similar
pixel values, we can reduce our representational sample rate by more than half,
while incurring a drop in VMAF quality score of only 4.5. We also demonstrate
lower latency than the state-of-the-art method for fusing and transcoding
framed and event camera data to an intensity representation, while maintaining
$2000\times$ the temporal resolution. We argue that our method provides the
computational efficiency and temporal granularity necessary to build real-time
intensity-based applications for event cameras.
- Abstract（参考訳）: 非同期センシングで人間の視覚システムを模倣するために設計されたニューロモルフィックな"イベント"カメラは、高速かつ高ダイナミックレンジのアプリケーションの新しい領域をアンロックする。
しかし、研究者はしばしば、アプリケーション用のイベントデータのフレーム化された表現に戻すか、特定のカメラのイベントデータタイプのために独自のアプリケーションを構築する。
次世代のビデオシステムの実現,新しいイベントカメラ設計の実現,および従来のアプリケーションにおける非同期ビデオのメリットを探るため,非同期でソースに依存しないビデオ表現の必要性を論じる。
本稿では,フレームデータと非フレームデータの両方に対して,新しい非同期強度表現を提案する。
提案手法は,画素当たりのサンプル数をグリッドベースの表現と比較して大幅に削減できることを示す。
フレームドソースを用いて、同様の画素値の時間平均化による損失を少なく抑えることで、VMAF品質スコアの低下をわずか4.5.5%に抑えながら、表現のサンプルレートを半減できることを示した。
また,時間分解能を2000ドルに抑えつつ,フレーム化およびイベントカメラデータを強調表現に融合・変換する最先端手法よりもレイテンシが低いことを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
関連論文リスト
- CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Rethinking Video with a Universal Event-Based Representation [0.0]
本稿では,新しい中間映像表現・システムフレームワークDeltaERについて紹介する。
私はADDeltaERが時間的冗長性の高いシーンに対して最先端のアプリケーション速度と圧縮性能を達成することを実証する。
大規模ビデオ監視とリソース制約センシングにおけるイベントベースビデオの影響について論じる。
論文 参考訳（メタデータ） (2024-08-12T16:00:17Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Accelerated Event-Based Feature Detection and Compression for
Surveillance Video Systems [1.5390526524075634]
スパース圧縮表現において時間的冗長性を伝達する新しいシステムを提案する。
我々はADDERと呼ばれるビデオ表現フレームワークを利用して、フレーム化されたビデオを疎結合で非同期な強度サンプルに変換する。
我々の研究は、今後のニューロモルフィックセンサーの道を切り拓き、スパイクニューラルネットワークによる将来の応用に有効である。
論文 参考訳（メタデータ） (2023-12-13T15:30:29Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-03T12:37:59Z) - Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。
我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。
コードとデータセットは公開されます。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳（メタデータ） (2021-02-18T13:24:35Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。