論文の概要: Rethinking Video with a Universal Event-Based Representation
- arxiv url: http://arxiv.org/abs/2408.06248v1
- Date: Mon, 12 Aug 2024 16:00:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:56:12.923796
- Title: Rethinking Video with a Universal Event-Based Representation
- Title（参考訳）: ユニバーサルイベントベース表現によるビデオの再考
- Authors: Andrew Freeman,
- Abstract要約: 本稿では,新しい中間映像表現・システムフレームワークDeltaERについて紹介する。
私はADDeltaERが時間的冗長性の高いシーンに対して最先端のアプリケーション速度と圧縮性能を達成することを実証する。
大規模ビデオ監視とリソース制約センシングにおけるイベントベースビデオの影響について論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditionally, video is structured as a sequence of discrete image frames. Recently, however, a novel video sensing paradigm has emerged which eschews video frames entirely. These "event" sensors aim to mimic the human vision system with asynchronous sensing, where each pixel has an independent, sparse data stream. While these cameras enable high-speed and high-dynamic-range sensing, researchers often revert to a framed representation of the event data for existing applications, or build bespoke applications for a particular camera's event data type. At the same time, classical video systems have significant computational redundancy at the application layer, since pixel samples are repeated across frames in the uncompressed domain. To address the shortcomings of existing systems, I introduce Address, Decimation, {\Delta}t Event Representation (AD{\Delta}ER, pronounced "adder"), a novel intermediate video representation and system framework. The framework transcodes a variety of framed and event camera sources into a single event-based representation, which supports source-modeled lossy compression and backward compatibility with traditional frame-based applications. I demonstrate that AD{\Delta}ER achieves state-of-the-art application speed and compression performance for scenes with high temporal redundancy. Crucially, I describe how AD{\Delta}ER unlocks an entirely new control mechanism for computer vision: application speed can correlate with both the scene content and the level of lossy compression. Finally, I discuss the implications for event-based video on large-scale video surveillance and resource-constrained sensing.
- Abstract（参考訳）: 伝統的に、ビデオは離散画像フレームのシーケンスとして構成される。
しかし,近年,ビデオフレームを完全に取り除く新しいビデオセンシングパラダイムが出現している。
これらの「イベント」センサーは、人間の視覚システムを非同期センシングで模倣することを目的としており、各ピクセルは独立してスパースなデータストリームを持つ。
これらのカメラは高速かつ高ダイナミックレンジのセンシングを可能にするが、研究者はしばしば既存のアプリケーションのためのイベントデータのフレーム化された表現に戻したり、特定のカメラのイベントデータタイプのためのbespokeアプリケーションを構築する。
同時に、古典的なビデオシステムは、非圧縮領域のフレーム間で画素サンプルが繰り返されるため、アプリケーション層において大きな計算冗長性を持つ。
既存のシステムの欠点に対処するために、新しい中間映像表現およびシステムフレームワークであるAD{\Delta}ER(address, Decimation, {\Delta}t Event Representation)を紹介します。
このフレームワークは、さまざまなフレームおよびイベントカメラソースを単一のイベントベース表現に変換し、ソースモデルによる損失圧縮と、従来のフレームベースのアプリケーションとの後方互換性をサポートする。
AD{\Delta}ERは時間的冗長性の高いシーンに対して最先端のアプリケーション速度と圧縮性能を実現することを実証する。
重要なのは、AD{\Delta}ERが完全に新しいコンピュータビジョンの制御機構を解き放つ方法です。
最後に、大規模ビデオ監視とリソース制約センシングにおけるイベントベースビデオの影響について論じる。
関連論文リスト
- An Open Software Suite for Event-Based Video [0.8158530638728501]
イベントベースのビデオは、画像フレームを完全に禁ずる新しいパラダイムである。
これまで、研究者は、イベントベースのビデオの表現、圧縮、および応用を探索する、凝集性のあるソフトウェアフレームワークを欠いていた。
私はこのギャップを埋めるためにAD$Delta$ERソフトウェアスイートを提示します。
論文 参考訳（メタデータ） (2024-01-30T16:32:37Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Accelerated Event-Based Feature Detection and Compression for
Surveillance Video Systems [1.5390526524075634]
スパース圧縮表現において時間的冗長性を伝達する新しいシステムを提案する。
我々はADDERと呼ばれるビデオ表現フレームワークを利用して、フレーム化されたビデオを疎結合で非同期な強度サンプルに変換する。
我々の研究は、今後のニューロモルフィックセンサーの道を切り拓き、スパイクニューラルネットワークによる将来の応用に有効である。
論文 参考訳（メタデータ） (2023-12-13T15:30:29Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳（メタデータ） (2023-08-25T23:51:07Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - An Asynchronous Intensity Representation for Framed and Event Video
Sources [2.9097303137825046]
フレームデータと非フレームデータの両方に強度表現を導入する。
我々の表現は、強度の精度を高め、画素あたりのサンプル数を大幅に削減できることを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
論文 参考訳（メタデータ） (2023-01-20T19:46:23Z) - Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。
我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。
コードとデータセットは公開されます。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - VideoINR: Learning Video Implicit Neural Representation for Continuous
Space-Time Super-Resolution [75.79379734567604]
ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。
本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
論文 参考訳（メタデータ） (2022-06-09T17:45:49Z) - How Asynchronous Events Encode Video [18.666472443354092]
イベントベースのカメラは、入力が変化したときにイベントを発生させるセンサーを備えており、イベントのタイミングで情報をエンコードする。
これにより、復元保証とアルゴリズムを確立する上で新たな課題が生まれるが、フレームベースのビデオよりもアドバンテージを提供する。
本稿では,帯域制限ビデオの時間符号化について考察し,空間センサ密度と全体空間分解能と時間分解能との依存性を示す。
論文 参考訳（メタデータ） (2022-06-09T08:36:21Z) - End-to-End Compressed Video Representation Learning for Generic Event
Boundary Detection [31.31508043234419]
イベント境界検出のためのエンドツーエンド圧縮ビデオ表現学習を提案する。
まず最初にConvNetを使って、GOPのIフレームの特徴を抽出します。
その後、Pフレームの特徴表現を計算するために、軽量な空間チャネル圧縮エンコーダが設計された。
ビデオシーケンスのイベント境界を決定するために,時間的コントラストモジュールを提案する。
論文 参考訳（メタデータ） (2022-03-29T08:27:48Z) - Video Imprint [107.1365846180187]
複雑なイベント検索,認識,記録のための統合ビデオ分析フレームワーク(ER3)が提案されている。
提案したビデオインプリント表現は、ビデオフレーム間の画像特徴間の時間的相関を利用する。
ビデオインプリントは、それぞれ、イベント認識/記録およびイベント検索タスクのために、推論ネットワークと特徴集約モジュールに入力される。
論文 参考訳（メタデータ） (2021-06-07T00:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。