論文の概要: Low-Latency Scalable Streaming for Event-Based Vision
- arxiv url: http://arxiv.org/abs/2412.07889v1
- Date: Tue, 10 Dec 2024 19:48:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:00:57.206565
- Title: Low-Latency Scalable Streaming for Event-Based Vision
- Title（参考訳）: イベントベースビジョンのための低レイテンシスケーラブルストリーミング
- Authors: Andrew Hamara, Benjamin Kilpatrick, Alex Baratta, Brendon Kofink, Andrew C. Freeman,
- Abstract要約: 本稿では,Media Over QUICに基づくイベントベースデータに対するスケーラブルなストリーミング手法を提案する。
我々は、最先端のオブジェクト検出アプリケーションが、劇的なデータ損失に対して回復力があることを示す。
我々は、検出mAPを0.36まで下げる平均的な減少を観察した。
- 参考スコア（独自算出の注目度）: 0.5242869847419834
- License:
- Abstract: Recently, we have witnessed the rise of novel ``event-based'' camera sensors for high-speed, low-power video capture. Rather than recording discrete image frames, these sensors output asynchronous ``event'' tuples with microsecond precision, only when the brightness change of a given pixel exceeds a certain threshold. Although these sensors have enabled compelling new computer vision applications, these applications often require expensive, power-hungry GPU systems, rendering them incompatible for deployment on the low-power devices for which event cameras are optimized. Whereas receiver-driven rate adaptation is a crucial feature of modern video streaming solutions, this topic is underexplored in the realm of event-based vision systems. On a real-world event camera dataset, we first demonstrate that a state-of-the-art object detection application is resilient to dramatic data loss, and that this loss may be weighted towards the end of each temporal window. We then propose a scalable streaming method for event-based data based on Media Over QUIC, prioritizing object detection performance and low latency. The application server can receive complementary event data across several streams simultaneously, and drop streams as needed to maintain a certain latency. With a latency target of 5 ms for end-to-end transmission across a small network, we observe an average reduction in detection mAP as low as 0.36. With a more relaxed latency target of 50 ms, we observe an average mAP reduction as low as 0.19.
- Abstract（参考訳）: 近年,高速低消費電力ビデオキャプチャのための新しい「イベントベース」カメラセンサが登場している。
個々の画像フレームを記録するのではなく、これらのセンサーは、特定のピクセルの明るさ変化が一定の閾値を超える場合にのみ、マイクロ秒精度で 'event' タプルを非同期に出力する。
これらのセンサーは魅力的な新しいコンピュータビジョンアプリケーションを実現しているが、これらのアプリケーションは高価で電力を消費するGPUシステムを必要とすることが多く、イベントカメラが最適化される低消費電力デバイスに配置するためには互換性がない。
現代のビデオストリーミングソリューションでは、レシーバ駆動のレート適応が重要な特徴であるのに対して、このトピックはイベントベースのビジョンシステムにおいて過小評価されている。
実世界のイベントカメラデータセット上では、最先端のオブジェクト検出アプリケーションが劇的なデータ損失に対して回復力があり、この損失を各時間ウィンドウの端に重み付けできることを最初に示す。
次に、Media Over QUICに基づくイベントベースのスケーラブルなストリーミング手法を提案し、オブジェクト検出性能と低レイテンシを優先する。
アプリケーションサーバは、複数のストリームをまたいだ補完的なイベントデータを同時に受信し、特定のレイテンシを維持するために必要なストリームをドロップすることができる。
小型ネットワーク上での終端伝送の遅延目標を5msとすることで,検出mAPを0.36以下に抑えることができる。
より緩和された遅延ターゲットは50msであり,平均mAP低下率は0.19。
関連論文リスト
- EV-Catcher: High-Speed Object Catching Using Low-latency Event-based
Neural Networks [107.62975594230687]
イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。
イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。
計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
論文 参考訳（メタデータ） (2023-04-14T15:23:28Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳（メタデータ） (2023-02-13T16:17:54Z) - An Asynchronous Intensity Representation for Framed and Event Video
Sources [2.9097303137825046]
フレームデータと非フレームデータの両方に強度表現を導入する。
我々の表現は、強度の精度を高め、画素あたりのサンプル数を大幅に削減できることを示す。
本稿では,イベントカメラのリアルタイムインテンシティに基づくアプリケーション構築に必要な計算効率と時間的粒度について論じる。
論文 参考訳（メタデータ） (2023-01-20T19:46:23Z) - Event-based Shape from Polarization [43.483063713471935]
SfP(Shape-from-Polarization)の最先端のソリューションは、スピードレゾリューションのトレードオフに悩まされている。
私たちはイベントカメラを使ってこのトレードオフに取り組みます。
イベントカメラの前で高速に回転する線形偏光器からなる装置を提案する。
論文 参考訳（メタデータ） (2023-01-17T12:59:58Z) - Data-driven Feature Tracking for Event Cameras [48.04815194265117]
グレースケールフレームで検出された特徴を追跡するために、低レイテンシイベントを活用するイベントカメラのための、最初のデータ駆動機能トラッカーを紹介した。
合成データから実データに直接ゼロショットを転送することで、我々のデータ駆動トラッカーは、相対的特徴年齢における既存のアプローチを最大120%向上させる。
この性能ギャップはさらに130%増加し、トラッカーを新たな自己超越戦略で実データに適用する。
論文 参考訳（メタデータ） (2022-11-23T10:20:11Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳（メタデータ） (2022-03-23T11:33:27Z) - FOVEA: Foveated Image Magnification for Autonomous Navigation [53.69803081925454]
入力キャンバスを小さく保ちながら、ある領域を弾性的に拡大する注意的アプローチを提案する。
提案手法は,高速R-CNNより高速かつ微調整の少ない検出APを高速化する。
Argoverse-HD と BDD100K の自律走行データセットでは,提案手法が標準の高速 R-CNN を超越した検出APを微調整なしで促進することを示す。
論文 参考訳（メタデータ） (2021-08-27T03:07:55Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Streaming Object Detection for 3-D Point Clouds [29.465873948076766]
LiDARは、多くの既存の知覚システムに通知する顕著な感覚モダリティを提供する。
ポイントクラウドデータに基づく知覚システムのレイテンシは、完全なローテーションスキャンの時間量によって支配される。
我々は、LiDARデータをそのネイティブストリーミング定式化で操作することで、自動運転オブジェクト検出にいくつかの利点があることを示す。
論文 参考訳（メタデータ） (2020-05-04T21:55:15Z) - Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
論文 参考訳（メタデータ） (2020-03-20T02:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。