論文の概要: EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception

• arxiv url: http://arxiv.org/abs/2303.04670v1
• Date: Wed, 8 Mar 2023 15:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 13:29:09.227132
• Title: EvConv: Fast CNN Inference on Event Camera Inputs For High-Speed Robot Perception
• Title（参考訳）: EvConv:高速ロボット認識のためのイベントカメラ入力の高速CNN推論
• Authors: Sankeerth Durvasula, Yushi Guan, Nandita Vijaykumar
• Abstract要約: イベントカメラは、高時間分解能と広いダイナミックレンジで視覚情報をキャプチャする。 イベントカメラストリーム上の現在の畳み込みニューラルネットワーク推論は、イベントカメラが動作している高速で、現在リアルタイムの推論を実行できない。 本稿では,イベントカメラからの入力に対して,CNN上で高速な推論を可能にする新しいアプローチであるEvConvを提案する。
• 参考スコア（独自算出の注目度）: 1.3869227429939426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event cameras capture visual information with a high temporal resolution and a wide dynamic range. This enables capturing visual information at fine time granularities (e.g., microseconds) in rapidly changing environments. This makes event cameras highly useful for high-speed robotics tasks involving rapid motion, such as high-speed perception, object tracking, and control. However, convolutional neural network inference on event camera streams cannot currently perform real-time inference at the high speeds at which event cameras operate - current CNN inference times are typically closer in order of magnitude to the frame rates of regular frame-based cameras. Real-time inference at event camera rates is necessary to fully leverage the high frequency and high temporal resolution that event cameras offer. This paper presents EvConv, a new approach to enable fast inference on CNNs for inputs from event cameras. We observe that consecutive inputs to the CNN from an event camera have only small differences between them. Thus, we propose to perform inference on the difference between consecutive input tensors, or the increment. This enables a significant reduction in the number of floating-point operations required (and thus the inference latency) because increments are very sparse. We design EvConv to leverage the irregular sparsity in increments from event cameras and to retain the sparsity of these increments across all layers of the network. We demonstrate a reduction in the number of floating operations required in the forward pass by up to 98%. We also demonstrate a speedup of up to 1.6X for inference using CNNs for tasks such as depth estimation, object recognition, and optical flow estimation, with almost no loss in accuracy.
• Abstract（参考訳）: イベントカメラは、高時間分解能と広いダイナミックレンジで視覚情報をキャプチャする。 これにより、急速に変化する環境で、細かい時間的粒度(マイクロ秒など)で視覚情報をキャプチャできる。 これにより、イベントカメラは、高速な知覚、物体追跡、制御などの迅速な動きを含む高速ロボット作業に非常に有用である。 しかし、イベントカメラストリーム上の畳み込みニューラルネットワーク推論は、現在のcnn推論時間が通常のフレームベースのカメラのフレームレートに桁違いに近く、イベントカメラが動作している高速でリアルタイム推論を行うことができない。 イベントカメラが提供する高頻度かつ高時間分解能をフル活用するには、イベントカメラレートでのリアルタイム推論が必要である。 本稿では,イベントカメラからの入力に対して,CNN上で高速な推論を可能にするEvConvを提案する。 イベントカメラからのCNNへの連続的な入力は、その差が小さいことを観察する。 そこで本研究では,連続的な入力テンソルの差分,あるいはインクリメントの差分を推定する。 これにより、インクリメントが非常に少ないため、必要な浮動小数点演算の数(つまり推論遅延)を大幅に削減できる。 EvConvは、イベントカメラからのインクリメントの不規則な間隔を利用して、ネットワークの全層にわたるインクリメントの間隔を維持するように設計されている。 我々は,フォワードパスで要求される浮動小数点数を最大98%削減することを示す。 また,CNNを用いた深度推定,物体認識,光フロー推定などのタスクにおいて,精度をほぼ損なうことなく,最大1.6倍の高速化を実現した。

関連論文リスト

• EvenNICER-SLAM: Event-based Neural Implicit Encoding SLAM [69.83383687049994]
  密集した視覚的同時局所化とマッピングのための新しいアプローチである EvenNICER-SLAM を提案する。 EvenNICER-SLAMは、絶対輝度ではなく強度変化に対応するイベントカメラを内蔵している。 以上の結果から,イベントカメラによる高密度SLAMシステムの高速カメラ動作に対する堅牢性向上の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-04T13:52:01Z)
• EV-Catcher: High-Speed Object Catching Using Low-latency Event-based Neural Networks [107.62975594230687]
  イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。 イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。 計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-14T15:23:28Z)
• Fusing Frame and Event Vision for High-speed Optical Flow for Edge Application [2.048335092363435]
  イベントカメラは、フレームレート制限を克服する継続的非同期イベントストリームを提供する。 フレームとイベントベースパイプラインの相補的精度と速度の利点を融合させ,高速な光フローを実現する。
  論文  参考訳（メタデータ） (2022-07-21T19:15:05Z)
• TimeReplayer: Unlocking the Potential of Event Cameras for Video Interpolation [78.99283105497489]
  イベントカメラは、任意に複雑な動きのあるビデオを可能にする新しいデバイスである。 本稿では,コモディティカメラが捉えた映像とイベントとを補間するTimeReplayerアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-25T18:57:42Z)
• ESL: Event-based Structured Light [62.77144631509817]
  イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。 本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-30T15:47:39Z)
• Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
  イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。 近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。 既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-20T02:44:29Z)
• Event-Based Angular Velocity Regression with Spiking Networks [51.145071093099396]
  スパイキングニューラルネットワーク(SNN)は、数値ではなく時間スパイクとして伝達される情報を処理する。 本稿では,イベントカメラから与えられた事象の時間回帰問題を初めて提案する。 角速度回帰を行うためにSNNをうまく訓練できることが示される。
  論文  参考訳（メタデータ） (2020-03-05T17:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。