論文の概要: TOFFE -- Temporally-binned Object Flow from Events for High-speed and Energy-Efficient Object Detection and Tracking

• arxiv url: http://arxiv.org/abs/2501.12482v1
• Date: Tue, 21 Jan 2025 20:20:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:59.245648
• Title: TOFFE -- Temporally-binned Object Flow from Events for High-speed and Energy-Efficient Object Detection and Tracking
• Title（参考訳）: TOFFE -- 高速かつエネルギー効率の高い物体検出・追跡のためのイベントからの一時結合オブジェクトフロー
• Authors: Adarsh Kumar Kosta, Amogh Joshi, Arjun Roy, Rohan Kumar Manna, Manish Nagaraj, Kaushik Roy,
• Abstract要約: イベントベースのカメラは、非常に高時間分解能と低消費電力で強度レベルの変化だけを捉えることで、生物学的にインスパイアされた解決策を提供する。 イベントベースの物体の動き推定を行うための軽量ハイブリッドフレームワークTOFFEを提案する。
• 参考スコア（独自算出の注目度）: 10.458676835674847
• License:
• Abstract: Object detection and tracking is an essential perception task for enabling fully autonomous navigation in robotic systems. Edge robot systems such as small drones need to execute complex maneuvers at high-speeds with limited resources, which places strict constraints on the underlying algorithms and hardware. Traditionally, frame-based cameras are used for vision-based perception due to their rich spatial information and simplified synchronous sensing capabilities. However, obtaining detailed information across frames incurs high energy consumption and may not even be required. In addition, their low temporal resolution renders them ineffective in high-speed motion scenarios. Event-based cameras offer a biologically-inspired solution to this by capturing only changes in intensity levels at exceptionally high temporal resolution and low power consumption, making them ideal for high-speed motion scenarios. However, their asynchronous and sparse outputs are not natively suitable with conventional deep learning methods. In this work, we propose TOFFE, a lightweight hybrid framework for performing event-based object motion estimation (including pose, direction, and speed estimation), referred to as Object Flow. TOFFE integrates bio-inspired Spiking Neural Networks (SNNs) and conventional Analog Neural Networks (ANNs), to efficiently process events at high temporal resolutions while being simple to train. Additionally, we present a novel event-based synthetic dataset involving high-speed object motion to train TOFFE. Our experimental results show that TOFFE achieves 5.7x/8.3x reduction in energy consumption and 4.6x/5.8x reduction in latency on edge GPU(Jetson TX2)/hybrid hardware(Loihi-2 and Jetson TX2), compared to previous event-based object detection baselines.
• Abstract（参考訳）: 物体検出と追跡は、ロボットシステムにおいて完全に自律的なナビゲーションを可能にするための重要な認識課題である。 小型ドローンのようなエッジロボットシステムは、限られたリソースで複雑な操作を高速で実行し、基礎となるアルゴリズムやハードウェアに厳しい制約を課す必要がある。 伝統的に、フレームベースのカメラは、その豊富な空間情報と簡易な同期センシング機能により、視覚ベースの知覚に使用される。 しかし、フレーム全体にわたる詳細な情報を取得すると、高エネルギー消費が発生し、必要すらなくなる。 さらに、その低時間分解能は、高速な動きのシナリオでは効果を示さない。 イベントベースのカメラは、非常に高い時間分解能と低消費電力で強度レベルの変化を捉えることで、生物学的にインスパイアされた解決策を提供する。 しかし、それらの非同期およびスパース出力は従来のディープラーニング手法には適していない。 本研究では,オブジェクトフローと呼ばれるイベントベース物体の動き推定(ポーズ,方向,速度推定を含む)を行う軽量ハイブリッドフレームワークTOFFEを提案する。 TOFFEはバイオインスパイアされたスパイキングニューラルネットワーク(SNN)と従来のアナログニューラルネットワーク(ANN)を統合し、訓練が簡単で、高時間解像度でイベントを効率的に処理する。 さらに,TOFFEを訓練するための高速物体運動を含むイベントベース合成データセットを提案する。 実験の結果,TOFFEは,従来のイベントベースオブジェクト検出ベースラインと比較して,エッジGPU(Jetson TX2)/ハイブリッドハードウェア(Loihi-2,Jetson TX2)におけるエネルギー消費の5.7x/8.3x削減,および4.6x/5.8x遅延の低減を実現している。

関連論文リスト

• Deep Event-based Object Detection in Autonomous Driving: A Survey [7.197775088663435]
  イベントカメラは、低レイテンシ、高ダイナミックレンジ、低消費電力のために、自動運転のための有望なセンサーとして登場した。 本稿では,自律走行におけるイベントデータを用いた物体検出の概要について述べる。
  論文  参考訳（メタデータ） (2024-05-07T04:17:04Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• FEDORA: Flying Event Dataset fOr Reactive behAvior [9.470870778715689]
  イベントベースのセンサーは、高速な動きを捉えるための標準フレームベースのカメラに代わる低レイテンシと低エネルギーの代替として登場した。 Flying Eventデータセット fOr Reactive behAviour (FEDORA) - 知覚タスクのための完全に合成されたデータセット。
  論文  参考訳（メタデータ） (2023-05-22T22:59:05Z)
• EV-Catcher: High-Speed Object Catching Using Low-latency Event-based Neural Networks [107.62975594230687]
  イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。 イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。 計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-14T15:23:28Z)
• Recurrent Vision Transformers for Object Detection with Event Cameras [62.27246562304705]
  本稿では,イベントカメラを用いた物体検出のための新しいバックボーンであるリカレントビジョントランス (RVT) を提案する。 RVTは、イベントベースのオブジェクト検出で最先端のパフォーマンスに到達するために、ゼロからトレーニングすることができる。 私たちの研究は、イベントベースのビジョンを超えた研究に役立ち得る効果的なデザイン選択に、新たな洞察をもたらします。
  論文  参考訳（メタデータ） (2022-12-11T20:28:59Z)
• DOTIE -- Detecting Objects through Temporal Isolation of Events using a Spiking Architecture [5.340730281227837]
  視覚に基づく自律ナビゲーションシステムは障害物を避けるために高速で正確な物体検出アルゴリズムに依存している。 本研究では,イベントに固有の時間的情報を用いて移動物体を効率的に検出する手法を提案する。 我々のアーキテクチャを利用することで、自律ナビゲーションシステムは、オブジェクト検出を行うための最小のレイテンシとエネルギーオーバーヘッドを持つことが示される。
  論文  参考訳（メタデータ） (2022-10-03T14:43:11Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• A Hybrid Neuromorphic Object Tracking and Classification Framework for Real-time Systems [5.959466944163293]
  本稿では,イベントベースカメラを用いた物体追跡と分類のためのリアルタイムハイブリッドニューロモルフィックフレームワークを提案する。 イベント・バイ・イベント処理の従来のアプローチとは異なり、この作業では混合フレームとイベント・アプローチを使用して高性能な省エネを実現している。
  論文  参考訳（メタデータ） (2020-07-21T07:11:27Z)
• End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking [35.95703377642108]
  イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。 この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。 我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
  論文  参考訳（メタデータ） (2020-02-14T08:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。