論文の概要: Flow-Based Visual Stream Compression for Event Cameras
- arxiv url: http://arxiv.org/abs/2403.08086v1
- Date: Tue, 12 Mar 2024 21:36:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 16:22:35.006014
- Title: Flow-Based Visual Stream Compression for Event Cameras
- Title（参考訳）: イベントカメラのためのフローベースビジュアルストリーム圧縮
- Authors: Daniel C. Stumpp, Himanshu Akolkar, Alan D. George, Ryad Benosman
- Abstract要約: 本稿では,イベントストリームをリアルタイムに圧縮するフローベース手法を提案する。
本手法は, リアルタイム光流推定値を用いて, 送信することなく, 将来の事象を予測する。
提案アルゴリズムは,リアルタイムかつ低レイテンシなイベント予測を行うことができることを示す。
- 参考スコア（独自算出の注目度）: 3.533874233403883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the use of neuromorphic, event-based vision sensors expands, the need for
compression of their output streams has increased. While their operational
principle ensures event streams are spatially sparse, the high temporal
resolution of the sensors can result in high data rates from the sensor
depending on scene dynamics. For systems operating in
communication-bandwidth-constrained and power-constrained environments, it is
essential to compress these streams before transmitting them to a remote
receiver. Therefore, we introduce a flow-based method for the real-time
asynchronous compression of event streams as they are generated. This method
leverages real-time optical flow estimates to predict future events without
needing to transmit them, therefore, drastically reducing the amount of data
transmitted. The flow-based compression introduced is evaluated using a variety
of methods including spatiotemporal distance between event streams. The
introduced method itself is shown to achieve an average compression ratio of
2.81 on a variety of event-camera datasets with the evaluation configuration
used. That compression is achieved with a median temporal error of 0.48 ms and
an average spatiotemporal event-stream distance of 3.07. When combined with
LZMA compression for non-real-time applications, our method can achieve
state-of-the-art average compression ratios ranging from 10.45 to 17.24.
Additionally, we demonstrate that the proposed prediction algorithm is capable
of performing real-time, low-latency event prediction.
- Abstract（参考訳）: ニューロモルフィックなイベントベースの視覚センサの使用が拡大するにつれて、出力ストリームの圧縮の必要性が高まっている。
動作原理はイベントストリームが空間的に疎らであることを保証するが、センサーの高時間分解能はシーンのダイナミクスによってセンサーから高いデータレートが得られる。
通信帯域制限および電力制約のある環境で運用するシステムでは、これらのストリームをリモート受信機に送信する前に圧縮することが不可欠である。
そこで本稿では,イベントストリームをリアルタイムに非同期に圧縮するフローベース手法を提案する。
この方法は、リアルタイム光フロー推定を利用して、送信する必要なく将来の事象を予測するため、送信されるデータ量を劇的に削減する。
イベントストリーム間の時空間距離を含む様々な手法を用いて,フローベース圧縮の評価を行った。
提案手法は, 各種イベントカメラデータセットにおける平均圧縮比が2.81であることを示す。
この圧縮は、平均時空間誤差0.48ms、平均時空間イベントストリーム距離3.07で達成される。
非リアルタイムアプリケーションに対するLZMA圧縮と組み合わせることで、10.45から17.24までの最先端平均圧縮比が得られる。
さらに,提案アルゴリズムはリアルタイムかつ低レイテンシなイベント予測を行うことができることを示す。
関連論文リスト
- Neural-based Video Compression on Solar Dynamics Observatory Images [8.73521037463594]
NASAのソーラー・ダイナミクス・オブザーバトリー(SDO)ミッションは、太陽の日常活動を監視するために膨大なデータを収集する。
データ圧縮は、限られたテレメトリレートによって引き起こされる課題に対処する上で重要な役割を果たす。
本稿では,SDOの画像データ収集における圧縮率の高いニューラルビデオ圧縮手法を提案する。
論文 参考訳（メタデータ） (2024-07-12T21:24:25Z) - MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。
本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。
われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
論文 参考訳（メタデータ） (2024-04-07T04:56:58Z) - StreamDiffusion: A Pipeline-level Solution for Real-time Interactive
Generation [29.30999290150683]
本稿では,インタラクティブな画像生成のためのリアルタイム拡散パイプラインStreamDiffusionを紹介する。
既存の拡散モデルは、テキストや画像プロンプトから画像を作成するのに適しているが、リアルタイムのインタラクションでは不足することが多い。
本稿では,従来のシーケンシャル・デノナイジングをデノナイジング・プロセスに変換する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-19T18:18:33Z) - Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。
既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。
WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
論文 参考訳（メタデータ） (2023-09-07T06:41:15Z) - StreamingFlow: Streaming Occupancy Forecasting with Asynchronous Multi-modal Data Streams via Neural Ordinary Differential Equation [15.441175735210791]
StreamingFlowは、非同期マルチセンサーデータストリームを融合するために取り込む、新しいBEV占有予測器である。
時間的地平線上でのBEV特徴の微分を学習し、融合プロセスの一部として暗黙センサのBEV特徴を更新し、BEV状態を望ましい将来時点に伝播する。
従来のビジョンベース、LiDARベースの手法よりも優れており、最先端の融合方式よりも優れた性能を示している。
論文 参考訳（メタデータ） (2023-02-19T14:38:01Z) - Fast Event-based Optical Flow Estimation by Triplet Matching [13.298845944779108]
イベントカメラは、従来のカメラ(低レイテンシ、高ダイナミックレンジ、低電力など)よりも利点がある。
イベントのパケットを扱う光フロー推定法は、正確性のために速度をトレードオフする。
本稿では,三重項マッチングに基づく新しい光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2022-12-23T09:12:16Z) - Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis [40.249030338644225]
映像合成 (Vid2Vid) は, セマンティックマップのシーケンスから写真リアルな映像を生成することで, 顕著な成果を上げている。
Fast-Vid2Vidは20 FPSのリアルタイムパフォーマンスを実現し、1つのV100 GPUで約8倍の計算コストを節約する。
論文 参考訳（メタデータ） (2022-07-11T17:57:57Z) - Coarse-to-fine Deep Video Coding with Hyperprior-guided Mode Prediction [50.361427832256524]
動き補償を改善するために,粗大なC2F(Deep Video compression framework)を提案する。
我々のC2Fフレームワークは、ビットコストを大幅に増大させることなく、より良い動き補償結果を得ることができる。
論文 参考訳（メタデータ） (2022-06-15T11:38:53Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳（メタデータ） (2021-10-08T06:16:45Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。