論文の概要: Learning to Detect Objects with a 1 Megapixel Event Camera

• arxiv url: http://arxiv.org/abs/2009.13436v2
• Date: Wed, 9 Dec 2020 15:41:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:24:37.725367
• Title: Learning to Detect Objects with a 1 Megapixel Event Camera
• Title（参考訳）: 1メガピクセルのイベントカメラによる物体検出の学習
• Authors: Etienne Perot, Pierre de Tournemire, Davide Nitti, Jonathan Masci, Amos Sironi
• Abstract要約: イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
• 参考スコア（独自算出の注目度）: 14.949946376335305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras encode visual information with high temporal precision, low data-rate, and high-dynamic range. Thanks to these characteristics, event cameras are particularly suited for scenarios with high motion, challenging lighting conditions and requiring low latency. However, due to the novelty of the field, the performance of event-based systems on many vision tasks is still lower compared to conventional frame-based solutions. The main reasons for this performance gap are: the lower spatial resolution of event sensors, compared to frame cameras; the lack of large-scale training datasets; the absence of well established deep learning architectures for event-based processing. In this paper, we address all these problems in the context of an event-based object detection task. First, we publicly release the first high-resolution large-scale dataset for object detection. The dataset contains more than 14 hours recordings of a 1 megapixel event camera, in automotive scenarios, together with 25M bounding boxes of cars, pedestrians, and two-wheelers, labeled at high frequency. Second, we introduce a novel recurrent architecture for event-based detection and a temporal consistency loss for better-behaved training. The ability to compactly represent the sequence of events into the internal memory of the model is essential to achieve high accuracy. Our model outperforms by a large margin feed-forward event-based architectures. Moreover, our method does not require any reconstruction of intensity images from events, showing that training directly from raw events is possible, more efficient, and more accurate than passing through an intermediate intensity image. Experiments on the dataset introduced in this work, for which events and gray level images are available, show performance on par with that of highly tuned and studied frame-based detectors.
• Abstract（参考訳）: イベントカメラは、高時間精度、低データレート、高ダイナミックレンジの視覚情報を符号化する。 これらの特徴により、イベントカメラは特に高い動き、照明条件の挑戦、低レイテンシを必要とするシナリオに適している。 しかし、この分野の斬新さから、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べまだ低いままである。 このパフォーマンスギャップの主な理由は、フレームカメラと比較してイベントセンサの空間解像度が低いこと、大規模なトレーニングデータセットの欠如、イベントベースの処理に確立されたディープラーニングアーキテクチャがないことである。 本稿では、イベントベースオブジェクト検出タスクのコンテキストにおけるこれらの問題に対処する。 まず、オブジェクト検出のための最初の高解像度大規模データセットをリリースする。 このデータセットは、1メガピクセルのイベントカメラの14時間以上の記録と、自動車、歩行者、二輪車の25mのバウンディングボックスを高周波で記録している。 第2に,イベントベース検出のための新しいリカレントアーキテクチャと,良好なトレーニングのための時間的一貫性損失を提案する。 モデルの内部メモリにイベントのシーケンスをコンパクトに表現する能力は、高い精度を達成するために不可欠である。 我々のモデルは、フィードフォワードのイベントベースのアーキテクチャよりも優れています。 さらに,本手法ではイベントからの強度像の再構成は不要であり,中間強度像を通過させるよりも,生イベントから直接のトレーニングが可能で,効率が良く,正確であることを示す。 イベントとグレーレベル画像が利用可能であるデータセットに関する実験は、高度に調整され、研究されたフレームベースの検出器と同等の性能を示す。

関連論文リスト

• Event-to-Video Conversion for Overhead Object Detection [7.744259147081667]
  イベントカメラは、特にオブジェクト検出などの複雑なタスクにおいて、下流の画像処理を複雑にする。 本稿では,高密度イベント表現とそれに対応するRGBフレームの間には,大きな差があることを述べる。 このギャップを埋めるために、イベントストリームをグレースケールのビデオに変換するイベント間変換モデルを適用する。
  論文  参考訳（メタデータ） (2024-02-09T22:07:39Z)
• EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset [55.12137324648253]
  イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。 本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-13T15:42:04Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation [24.367222637492787]
  イベントカメラは、バイオインスパイアされた視覚センサーで、ピクセルごとの明るさが非同期に変化する。 本稿では,不完全情報の問題に対処する,新しい密結合型再帰型アーキテクチャを提案する。 この再帰的アーキテクチャにより、時間ステップをまたいだ逐次的だけでなく、非逐次的幾何的整合性も明示的にモデル化できる。
  論文  参考訳（メタデータ） (2022-09-15T04:08:18Z)
• Are High-Resolution Event Cameras Really Needed? [62.70541164894224]
  低照度条件や高速環境では、低解像度カメラは高解像度カメラより優れ、帯域幅は大幅に小さくなる。 この主張は,高解像度のイベントカメラが画素当たりのイベントレートが高いことを示す実証的証拠と理論的証拠の両方を提示する。 多くの場合、高解像度のイベントカメラは、これらの条件下では低解像度のセンサーに比べてタスク性能が低い。
  論文  参考訳（メタデータ） (2022-03-28T12:06:20Z)
• Moving Object Detection for Event-based vision using Graph Spectral Clustering [6.354824287948164]
  移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。 イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。 さらに,移動物体の最適個数を自動決定する方法について述べる。
  論文  参考訳（メタデータ） (2021-09-30T10:19:22Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• Time-Ordered Recent Event (TORE) Volumes for Event Cameras [21.419206807872797]
  イベントカメラは、非常に低遅延で広いダイナミックレンジの高速イメージングを可能にするエキサイティングで新しいセンサーモダリティです。 ほとんどの機械学習アーキテクチャは、イベントカメラから生成されたスパースデータを直接扱うように設計されていない。 本稿では,時系列最近のイベント(TORE)ボリュームというイベント表現を詳述する。 TOREボリュームは、最小限の情報損失で生のスパイクタイミング情報をコンパクトに格納するように設計されています。
  論文  参考訳（メタデータ） (2021-03-10T15:03:38Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。