論文の概要: Event-based vision on FPGAs -- a survey

• arxiv url: http://arxiv.org/abs/2407.08356v1
• Date: Thu, 11 Jul 2024 10:07:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 17:59:20.705806
• Title: Event-based vision on FPGAs -- a survey
• Title（参考訳）: FPGAに関するイベントベースのビジョン - 調査
• Authors: Tomasz Kryjak,
• Abstract要約: フィールドプログラマブルゲートアレイ(FPGA)は、高速なデータ処理(リアルタイムでも)とエネルギー効率を実現している。 本稿では、FPGAがイベントデータを処理するために様々な文脈で使われている、最も重要な研究の概要について述べる。 フィルタリング、ステレオビジョン、光学フロー、オブジェクト分類のためのAIベースのアルゴリズムの加速、検出と追跡、ロボット工学および検査システムにおける応用などである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years there has been a growing interest in event cameras, i.e. vision sensors that record changes in illumination independently for each pixel. This type of operation ensures that acquisition is possible in very adverse lighting conditions, both in low light and high dynamic range, and reduces average power consumption. In addition, the independent operation of each pixel results in low latency, which is desirable for robotic solutions. Nowadays, Field Programmable Gate Arrays (FPGAs), along with general-purpose processors (GPPs/CPUs) and programmable graphics processing units (GPUs), are popular architectures for implementing and accelerating computing tasks. In particular, their usefulness in the embedded vision domain has been repeatedly demonstrated over the past 30 years, where they have enabled fast data processing (even in real-time) and energy efficiency. Hence, the combination of event cameras and reconfigurable devices seems to be a good solution, especially in the context of energy-efficient real-time embedded systems. This paper gives an overview of the most important works, where FPGAs have been used in different contexts to process event data. It covers applications in the following areas: filtering, stereovision, optical flow, acceleration of AI-based algorithms (including spiking neural networks) for object classification, detection and tracking, and applications in robotics and inspection systems. Current trends and challenges for such systems are also discussed.
• Abstract（参考訳）: 近年では、各画素ごとに独立して照明の変化を記録する視覚センサなど、イベントカメラへの関心が高まっている。 この種の操作は、低照度と高ダイナミックレンジの両方において非常に悪い照明条件下での取得を可能にし、平均消費電力を減少させる。 さらに,各画素の独立動作によりレイテンシが低くなり,ロボットソリューションに好適である。 現在、FPGA(Field Programmable Gate Arrays)は汎用プロセッサ(GPP/CPU)やGPU(Programmable Graph Processing Unit)とともに、コンピュータタスクの実装と高速化に人気のあるアーキテクチャである。 特に、組み込み視覚領域におけるそれらの有用性は、過去30年間で繰り返し実証され、高速なデータ処理(リアルタイムでも)とエネルギー効率が実現された。 したがって、特にエネルギー効率のよいリアルタイム組み込みシステムにおいて、イベントカメラと再構成可能なデバイスの組み合わせは良いソリューションであるように思われる。 本稿では、FPGAがイベントデータを処理するために様々な文脈で使われている、最も重要な研究の概要について述べる。 フィルタリング、ステレオビジョン、光学フロー、物体の分類、検出と追跡のためのAIベースのアルゴリズム(スパイクニューラルネットワークを含む)の加速、ロボットや検査システムにおける応用などである。 このようなシステムの現状と課題についても論じる。

関連論文リスト

• HAPM -- Hardware Aware Pruning Method for CNN hardware accelerators in resource constrained devices [44.99833362998488]
  本研究はFPGAデバイスに実装可能な汎用ハードウェアアーキテクチャを提案する。 設計の推論速度は、リソース制約の異なるFPGAデバイス上で評価される。 ハードウェア対応プルーニングアルゴリズムは,標準アルゴリズムを用いたネットワークプルーニングに比べて,推論時間45%の顕著な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2024-08-26T07:27:12Z)
• FAPNet: An Effective Frequency Adaptive Point-based Eye Tracker [0.6554326244334868]
  イベントカメラは、視線追跡の領域における従来のカメラに代わるものだ。 既存のイベントベースの視線追跡ネットワークは、イベントにおける重要できめ細かい時間情報を無視する。 本稿では、ポイントクラウドをイベント表現として利用し、視線追跡タスクにおける事象の高時間分解能とスパース特性を利用する。
  論文  参考訳（メタデータ） (2024-06-05T12:08:01Z)
• SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on FPGA Devices [48.47320494918925]
  この作業は、超低レイテンシアプリケーションのために、最先端のオブジェクト検出モデルをFPGAデバイスにデプロイする際の課題に対処する。 YOLOアクセラレータにはストリーミングアーキテクチャ設計を採用しており、チップ上で完全なモデルを深くパイプライン化して実装しています。 データフロー方式でYOLOモデルの動作をサポートする新しいハードウェアコンポーネントを導入し、オンチップメモリリソースの制限に対処するために、オフチップメモリバッファリングを導入する。
  論文  参考訳（メタデータ） (2023-09-04T13:15:01Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
  ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。 Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-04-19T16:21:14Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Eventor: An Efficient Event-Based Monocular Multi-View Stereo Accelerator on FPGA Platform [11.962626341154609]
  イベントカメラはバイオインスパイアされた視覚センサーで、イベントストリームとしてピクセルレベルの明るさ変化を非同期に表現する。 EMVSは、イベントストリームを利用して、既知の軌道を持つ半密度の3D構造を推定するテクニックである。 本稿では、最も重要かつ時間を要するステージを実現することにより、高速かつ効率的なEMVSアクセラレータとしてEventorを提案する。
  論文  参考訳（メタデータ） (2022-03-29T11:13:36Z)
• Optical flow-based branch segmentation for complex orchard environments [73.11023209243326]
  シミュレーションでは、シミュレーションでは、シミュレーションされたRGBデータと光フローのみを用いてニューラルネットワークシステムを訓練する。 このニューラルネットワークは、忙しい果樹園環境において、追加の現実世界のトレーニングや、標準カメラ以外の特別な設定や機器を使用することなく、前景の枝のセグメンテーションを行うことができる。 その結果,本システムは高精度であり,手動ラベル付きRGBDデータを用いたネットワークと比較すると,トレーニングセットと異なる環境において,より一貫性と堅牢性を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T03:38:20Z)
• hARMS: A Hardware Acceleration Architecture for Real-Time Event-Based Optical Flow [0.0]
  イベントベースの視覚センサは、視覚シーンの変化に基づいて、時間分解能の高い非同期イベントストリームを生成する。 イベントデータから光の流れを計算するための既存の解は、開口問題により運動の真の方向を捉えることができない。 本稿では,低消費電力な組込みプラットフォーム上での真の流れのリアルタイム計算を可能にするfARMSアルゴリズムのハードウェア実現について述べる。
  論文  参考訳（メタデータ） (2021-12-13T16:27:17Z)
• Meta-UDA: Unsupervised Domain Adaptive Thermal Object Detection using Meta-Learning [64.92447072894055]
  赤外線(IR)カメラは、照明条件や照明条件が悪ければ頑丈である。 既存のUDA手法を改善するためのアルゴリズムメタ学習フレームワークを提案する。 KAISTおよびDSIACデータセットのための最先端熱検出器を作成した。
  論文  参考訳（メタデータ） (2021-10-07T02:28:18Z)
• Enabling energy efficient machine learning on a Ultra-Low-Power vision sensor for IoT [3.136861161060886]
  本稿では,リアルタイム検出・分類・追跡パイプラインの開発・分析・実装について述べる。 8msの推算で得られる電力消費量は7.5mWである。
  論文  参考訳（メタデータ） (2021-02-02T06:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。