論文の概要: Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN

• arxiv url: http://arxiv.org/abs/2404.14279v1
• Date: Mon, 22 Apr 2024 15:28:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 13:27:39.622459
• Title: Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN
• Title（参考訳）: サブマニフォールドスパースCNNを用いたサブミリ秒レイテンシイベントベースアイトラッキングシステムの設計
• Authors: Baoheng Zhang, Yizhao Gao, Jingyuan Li, Hayden Kwok-Hay So,
• Abstract要約: アイトラッキング技術は多くの消費者向けエレクトロニクスアプリケーション、特に仮想現実および拡張現実(VR/AR)において不可欠である しかし、これらすべての面で最適なパフォーマンスを達成することは、非常に難しい課題である。 我々は,この課題に,システムとイベントカメラを併用したシナジスティックなソフトウェア/ハードウェアの共同設計を通じて対処する。 本システムでは,81%のp5精度,99.5%のp10精度,および3.71のMeanean Distanceを0.7msのレイテンシで実現し,1推論あたり2.29mJしか消費しない。
• 参考スコア（独自算出の注目度）: 8.613703056677457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Eye-tracking technology is integral to numerous consumer electronics applications, particularly in the realm of virtual and augmented reality (VR/AR). These applications demand solutions that excel in three crucial aspects: low-latency, low-power consumption, and precision. Yet, achieving optimal performance across all these fronts presents a formidable challenge, necessitating a balance between sophisticated algorithms and efficient backend hardware implementations. In this study, we tackle this challenge through a synergistic software/hardware co-design of the system with an event camera. Leveraging the inherent sparsity of event-based input data, we integrate a novel sparse FPGA dataflow accelerator customized for submanifold sparse convolution neural networks (SCNN). The SCNN implemented on the accelerator can efficiently extract the embedding feature vector from each representation of event slices by only processing the non-zero activations. Subsequently, these vectors undergo further processing by a gated recurrent unit (GRU) and a fully connected layer on the host CPU to generate the eye centers. Deployment and evaluation of our system reveal outstanding performance metrics. On the Event-based Eye-Tracking-AIS2024 dataset, our system achieves 81% p5 accuracy, 99.5% p10 accuracy, and 3.71 Mean Euclidean Distance with 0.7 ms latency while only consuming 2.29 mJ per inference. Notably, our solution opens up opportunities for future eye-tracking systems. Code is available at https://github.com/CASR-HKU/ESDA/tree/eye_tracking.
• Abstract（参考訳）: アイトラッキング技術は多くの消費者向けエレクトロニクスアプリケーション、特に仮想現実と拡張現実(VR/AR)の領域において不可欠である。 これらのアプリケーションは、低レイテンシ、低消費電力、精度の3つの重要な側面で優れているソリューションを要求する。 しかし、これらすべての面で最適なパフォーマンスを達成するには、洗練されたアルゴリズムと効率的なバックエンドハードウェア実装のバランスを必要とする、非常に難しい課題があります。 本研究では,システムとイベントカメラの協調設計により,この課題に対処する。 イベントベースの入力データの本質的な空間性を活用することで、サブマニフォールドスパース畳み込みニューラルネットワーク(SCNN)用にカスタマイズされた、新しいスパースFPGAデータフローアクセラレータを統合する。 アクセラレータに実装されたSCNNは、非ゼロアクティベーションのみを処理することにより、イベントスライスの各表現から埋め込み特徴ベクトルを効率的に抽出することができる。 その後、これらのベクトルは、ゲートリカレントユニット(GRU)とホストCPU上の完全に接続された層によってさらに処理され、アイセンタが生成される。 システムのデプロイと評価により,優れたパフォーマンス指標が明らかとなった。 Event-based Eye-Tracking-AIS2024データセットでは、このシステムは81%のp5精度、99.5%のp10精度、および3.71の平均ユークリッド距離を0.7msのレイテンシで達成し、1推論あたり2.29mJしか消費しない。 特に、我々のソリューションは将来の視線追跡システムにチャンスをもたらす。 コードはhttps://github.com/CASR-HKU/ESDA/tree/eye_trackingで公開されている。

関連論文リスト

• Embedded Graph Convolutional Networks for Real-Time Event Data Processing on SoC FPGAs [0.815557531820863]
  イベントカメラは、組み込みリアルタイムシステムへの統合に大きな関連性を見出す。 イベント処理システムに必要なスループットとレイテンシを保証する効果的なアプローチの1つは、グラフ畳み込みネットワーク(GCN)の利用である。 我々は,ポイントクラウド処理用に設計されたGCNアーキテクチャであるPointNet++用に最適化された,ハードウェア対応の一連の最適化を紹介した。
  論文  参考訳（メタデータ） (2024-06-11T14:47:36Z)
• EvGNN: An Event-driven Graph Neural Network Accelerator for Edge Vision [0.06752396542927405]
  イベント駆動グラフニューラルネットワーク(GNN)は、スパースイベントベースのビジョンのための有望なソリューションとして登場した。 我々は,低フットプリント,超低レイテンシ,高精度エッジビジョンのための,最初のイベント駆動型GNNアクセラレータであるEvGNNを提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:18:47Z)
• A Lightweight Spatiotemporal Network for Online Eye Tracking with Event Camera [0.8576354642891824]
  イベントベースのデータは、効率性と低レイテンシが重要であるエッジコンピューティング環境で一般的に発生する。 このようなデータと対話し,その時間的豊かさを活用するために,因果畳み込みネットワークを提案する。 我々は,AIS 2024イベントベースのアイトラッキング課題に適用し,Kaggleプライベートテストセットで0.9916 p10の精度を達成した。
  論文  参考訳（メタデータ） (2024-04-13T00:13:20Z)
• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• Ev-Edge: Efficient Execution of Event-based Vision Algorithms on Commodity Edge Platforms [10.104371980353973]
  Ev-Edgeは、エッジプラットフォーム上でのイベントベースのビジョンシステムのパフォーマンスを高めるために、3つの重要な最適化を含むフレームワークである。 様々な自律ナビゲーションタスクのための最先端ネットワークでは、Ev-Edgeはレイテンシが1.28x-2.05x改善され、エネルギーが1.23x-2.15xになった。
  論文  参考訳（メタデータ） (2024-03-23T04:44:55Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Speck: A Smart event-based Vision Sensor with a low latency 327K Neuron Convolutional Neuronal Network Processing Pipeline [5.8859061623552975]
  我々は、イベントベースのカメラと低消費電力非同期スパイク畳み込みニューラルネットワーク(sCNN)コンピューティングアーキテクチャを単一チップ上に組み込んだ、チップ上のスマートビジョンセンサシステム(SoC)を提案する。 センサと処理を1つのダイに組み合わせることで、ユニット生産コストを大幅に削減できる。 非同期アーキテクチャ、個々のブロック、およびsCNN処理原理と他のsCNN対応プロセッサに対するベンチマークを示す。
  論文  参考訳（メタデータ） (2023-04-13T19:28:57Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。