論文の概要: Motion Robust High-Speed Light-weighted Object Detection with Event Camera

• arxiv url: http://arxiv.org/abs/2208.11602v1
• Date: Wed, 24 Aug 2022 15:15:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 12:58:03.269013
• Title: Motion Robust High-Speed Light-weighted Object Detection with Event Camera
• Title（参考訳）: イベントカメラを用いたモーションロバスト高速軽量物体検出
• Authors: Bingde Liu
• Abstract要約: イベントカメラは、冗長な視覚情報を破棄する非常に高い時間分解能を有する大きなダイナミックレンジイベントストリームを生成する。 ディープラーニングを用いた物体検出タスクにイベントカメラを応用する既存の手法には,多くの問題がある。 本稿では,Agile Event Detector (AED) と呼ばれる高速軽量検出器を提案する。 また,イベントストリームデータの非同期生成を最大限に活用する,Temporal Active Focus (TAF) と呼ばれるイベントストリーム表現テンソルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The event camera produces a large dynamic range event stream with a very high temporal resolution discarding redundant visual information, thus bringing new possibilities for object detection tasks. However, the existing methods of applying the event camera to object detection tasks using deep learning methods still have many problems. First, existing methods cannot take into account objects with different velocities relative to the motion of the event camera due to the global synchronized time window and temporal resolution. Second, most of the existing methods rely on large parameter neural networks, which implies a large computational burden and low inference speed, thus contrary to the high temporal resolution of the event stream. In our work, we design a high-speed lightweight detector called Agile Event Detector (AED) with a simple but effective data augmentation method. Also, we propose an event stream representation tensor called Temporal Active Focus (TAF), which takes full advantage of the asynchronous generation of event stream data and is robust to the motion of moving objects. It can also be constructed without much time-consuming. We further propose a module called the Bifurcated Folding Module (BFM) to extract the rich temporal information in the TAF tensor at the input layer of the AED detector. We conduct our experiments on two typical real-scene event camera object detection datasets: the complete Prophesee GEN1 Automotive Detection Dataset and the Prophesee 1 MEGAPIXEL Automotive Detection Dataset with partial annotation. Experiments show that our method is competitive in terms of accuracy, speed, and the number of parameters simultaneously. Also by classifying the objects into multiple motion levels based on the optical flow density metric, we illustrated the robustness of our method for objects with different velocities relative to the camera.
• Abstract（参考訳）: イベントカメラは、冗長な視覚情報を捨てる非常に高い時間分解能を持つ大きなダイナミックレンジイベントストリームを生成し、オブジェクト検出タスクに新たな可能性をもたらす。 しかし、ディープラーニングを用いたオブジェクト検出タスクにイベントカメラを適用する既存の方法には、まだ多くの問題がある。 第1に,グローバル同期時間窓と時間分解能により,イベントカメラの動作に対して速度が異なるオブジェクトを考慮に入れることはできない。 第二に、既存の手法のほとんどは大きなパラメータニューラルネットワークに依存しており、これは計算負荷が大きく、推論速度が低いことを意味するため、イベントストリームの高時間分解能とは対照的である。 本研究では,アジャイルイベント検出器(aed)と呼ばれる高速軽量検出器を,単純かつ効果的なデータ拡張手法で設計した。 また,イベントストリームデータの非同期生成を最大限に活用し,移動物体の動きにロバストなイベントストリーム表現テンソルであるtemporal active focus(taf)を提案する。 時間を要することなく建設することもできる。 さらに,AED検出器の入力層におけるTAFテンソルの豊富な時間情報を抽出するために,Bifurcated Folding Module (BFM) と呼ばれるモジュールを提案する。 我々は,prophesee gen1 automotive detection datasetとprophesee 1 megapixel automotive detection datasetの2つの典型的な実写イベントカメラオブジェクト検出データセットについて実験を行った。 実験の結果, 本手法は, 精度, 速度, パラメータ数を同時に比較して, 競合することがわかった。 また,光流密度測定に基づいて物体を複数の運動レベルに分類し,カメラに対して速度の異なる物体に対してロバスト性を示す。

関連論文リスト

• Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
  イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。 固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。 本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T04:36:13Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• FOLT: Fast Multiple Object Tracking from UAV-captured Videos Based on Optical Flow [27.621524657473945]
  複数物体追跡(MOT)はコンピュータビジョンにおいてよく研究されている。 しかし、無人航空機(UAV)が撮影したビデオのMOTは、小さな物体の大きさ、ぼやけた物体の外観、そして非常に大きくて不規則な動きのために依然として困難である。 我々はこれらの問題を緩和し、UAVビューで高速かつ正確なMOTに到達するためにFOLTを提案する。
  論文  参考訳（メタデータ） (2023-08-14T15:24:44Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
  我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。 符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。 復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。 提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
  論文  参考訳（メタデータ） (2022-08-01T15:56:19Z)
• StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
  将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。 本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。 本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
  論文  参考訳（メタデータ） (2022-07-21T12:03:02Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• Tracking 6-DoF Object Motion from Events and Frames [0.0]
  本研究では,6自由度(6-DoF)物体の動き追跡のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T12:39:38Z)
• Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking [87.0297771292994]
  本稿では,イベントベースのトラッキング・バイ・ディテクト(ETD)手法を提案する。 この目的を達成するために,線形時間決定(ATSLTD)イベント・ツー・フレーム変換アルゴリズムを用いた適応時間曲面を提案する。 提案手法と,従来のカメラやイベントカメラをベースとした7種類のオブジェクト追跡手法と,ETDの2種類のバリエーションを比較した。
  論文  参考訳（メタデータ） (2020-02-13T15:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。