論文の概要: A Lightweight Spatiotemporal Network for Online Eye Tracking with Event Camera
- arxiv url: http://arxiv.org/abs/2404.08858v1
- Date: Sat, 13 Apr 2024 00:13:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:22:57.601159
- Title: A Lightweight Spatiotemporal Network for Online Eye Tracking with Event Camera
- Title（参考訳）: イベントカメラを用いたオンライン視線追跡のための軽量時空間ネットワーク
- Authors: Yan Ru Pei, Sasskia Brüers, Sébastien Crouzet, Douglas McLelland, Olivier Coenen,
- Abstract要約: イベントベースのデータは、効率性と低レイテンシが重要であるエッジコンピューティング環境で一般的に発生する。
このようなデータと対話し,その時間的豊かさを活用するために,因果畳み込みネットワークを提案する。
我々は,AIS 2024イベントベースのアイトラッキング課題に適用し,Kaggleプライベートテストセットで0.9916 p10の精度を達成した。
- 参考スコア（独自算出の注目度）: 0.8576354642891824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event-based data are commonly encountered in edge computing environments where efficiency and low latency are critical. To interface with such data and leverage their rich temporal features, we propose a causal spatiotemporal convolutional network. This solution targets efficient implementation on edge-appropriate hardware with limited resources in three ways: 1) deliberately targets a simple architecture and set of operations (convolutions, ReLU activations) 2) can be configured to perform online inference efficiently via buffering of layer outputs 3) can achieve more than 90% activation sparsity through regularization during training, enabling very significant efficiency gains on event-based processors. In addition, we propose a general affine augmentation strategy acting directly on the events, which alleviates the problem of dataset scarcity for event-based systems. We apply our model on the AIS 2024 event-based eye tracking challenge, reaching a score of 0.9916 p10 accuracy on the Kaggle private testset.
- Abstract（参考訳）: イベントベースのデータは通常、効率性と低レイテンシが重要であるエッジコンピューティング環境で発生する。
このようなデータと対話し,その豊富な時間的特徴を活用するために,因果時空間畳み込みネットワークを提案する。
このソリューションは、3つの方法で限られたリソースを持つエッジ対応ハードウェアの効率的な実装を目標としている。
1)単純なアーキテクチャと一連のオペレーション(畳み込み、ReLUアクティベーション)を意図的にターゲットとしている。
2) レイヤ出力のバッファリングによってオンライン推論を効率的に行うように設定できる。
3) トレーニング中の正規化によって90%以上のアクティベーション間隔を達成でき、イベントベースのプロセッサで非常に大きな効率向上を実現している。
さらに、イベントに直接作用する一般的なアフィン増強戦略を提案し、イベントベースシステムにおけるデータセット不足の問題を軽減する。
我々は,AIS 2024イベントベースのアイトラッキング課題に適用し,Kaggleプライベートテストセットで0.9916 p10の精度を達成した。
関連論文リスト
- Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN [8.613703056677457]
アイトラッキング技術は多くの消費者向けエレクトロニクスアプリケーション、特に仮想現実および拡張現実(VR/AR)において不可欠である
しかし、これらすべての面で最適なパフォーマンスを達成することは、非常に難しい課題である。
我々は,この課題に,システムとイベントカメラを併用したシナジスティックなソフトウェア/ハードウェアの共同設計を通じて対処する。
本システムでは,81%のp5精度,99.5%のp10精度,および3.71のMeanean Distanceを0.7msのレイテンシで実現し,1推論あたり2.29mJしか消費しない。
論文 参考訳（メタデータ） (2024-04-22T15:28:42Z) - Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。
DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。
複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2024-03-26T12:31:58Z) - Ev-Edge: Efficient Execution of Event-based Vision Algorithms on Commodity Edge Platforms [10.104371980353973]
Ev-Edgeは、エッジプラットフォーム上でのイベントベースのビジョンシステムのパフォーマンスを高めるために、3つの重要な最適化を含むフレームワークである。
様々な自律ナビゲーションタスクのための最先端ネットワークでは、Ev-Edgeはレイテンシが1.28x-2.05x改善され、エネルギーが1.23x-2.15xになった。
論文 参考訳（メタデータ） (2024-03-23T04:44:55Z) - SpikePoint: An Efficient Point-based Spiking Neural Network for Event
Cameras Action Recognition [11.178792888084692]
スパイキングニューラルネットワーク(SNN)は、その顕著な効率性と耐障害性のために注目されている。
本稿では,新しいエンドツーエンドのポイントベースSNNアーキテクチャであるSpikePointを提案する。
SpikePointはスパースイベントクラウドデータの処理に優れ、グローバル機能とローカル機能の両方を効果的に抽出する。
論文 参考訳（メタデータ） (2023-10-11T04:38:21Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳（メタデータ） (2023-08-30T10:57:41Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳（メタデータ） (2022-11-22T15:14:20Z) - HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously
Exploiting Image and Event Modalities [6.543272301133159]
イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。
リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。
イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。
本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
論文 参考訳（メタデータ） (2022-11-19T17:09:50Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。