論文の概要: GazeSCRNN: Event-based Near-eye Gaze Tracking using a Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2503.16012v1
• Date: Thu, 20 Mar 2025 10:32:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:36:01.569132
• Title: GazeSCRNN: Event-based Near-eye Gaze Tracking using a Spiking Neural Network
• Title（参考訳）: GazeSCRNN:スパイキングニューラルネットワークを用いたイベントベース近目視追跡
• Authors: Stijn Groenen, Marzieh Hassanshahi Varposhti, Mahyar Shahsavari,
• Abstract要約: この研究は、イベントベースの近目視追跡用に設計された新しい畳み込みリカレントニューラルネットワークであるGazeSCRNNを紹介する。 モデル処理は、Adaptive Leaky-Integrate-and-Fire(ALIF)ニューロンと、時間データのためのハイブリッドアーキテクチャを使用して、DVSカメラからのイベントストリームを処理する。 最も正確なモデルは6.034degdegの平均角誤差(MAE)と2.094mmの平均角誤差(MPE)である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This work introduces GazeSCRNN, a novel spiking convolutional recurrent neural network designed for event-based near-eye gaze tracking. Leveraging the high temporal resolution, energy efficiency, and compatibility of Dynamic Vision Sensor (DVS) cameras with event-based systems, GazeSCRNN uses a spiking neural network (SNN) to address the limitations of traditional gaze-tracking systems in capturing dynamic movements. The proposed model processes event streams from DVS cameras using Adaptive Leaky-Integrate-and-Fire (ALIF) neurons and a hybrid architecture optimized for spatio-temporal data. Extensive evaluations on the EV-Eye dataset demonstrate the model's accuracy in predicting gaze vectors. In addition, we conducted ablation studies to reveal the importance of the ALIF neurons, dynamic event framing, and training techniques, such as Forward-Propagation-Through-Time, in enhancing overall system performance. The most accurate model achieved a Mean Angle Error (MAE) of 6.034{\deg} and a Mean Pupil Error (MPE) of 2.094 mm. Consequently, this work is pioneering in demonstrating the feasibility of using SNNs for event-based gaze tracking, while shedding light on critical challenges and opportunities for further improvement.
• Abstract（参考訳）: この研究は、イベントベースの近目視追跡のために設計された、新しいスパイキング畳み込みリカレントニューラルネットワークであるGazeSCRNNを紹介する。 高時間分解能、エネルギー効率、ダイナミックビジョンセンサー(DVS)カメラとイベントベースのシステムとの互換性を活用することで、GazeSCRNNは、ダイナミックモーションをキャプチャする従来の視線追跡システムの制限に対処するために、スパイキングニューラルネットワーク(SNN)を使用する。 提案モデルでは,ALIF(Adaptive Leaky-Integrate-and-Fire)ニューロンと時空間データに最適化されたハイブリッドアーキテクチャを用いて,DVSカメラからのイベントストリームを処理する。 EV-Eyeデータセットの大規模な評価は、視線ベクトルを予測する際のモデルの精度を示している。 さらに,ALIFニューロン,動的イベントフレーミング,前方伝播時間などのトレーニング技術がシステム全体の性能を向上させる上で重要であることを明らかにするためのアブレーション研究を行った。 最も正確なモデルは6.034{\deg}の平均角誤差(MAE)と2.094mmの平均角誤差(MPE)である。 その結果、この研究は、イベントベースの視線追跡にSNNを使用することの可能性を実証し、重要な課題とさらなる改善の機会に光を当てている。

関連論文リスト

• Spiking Neural Network as Adaptive Event Stream Slicer [10.279359105384334]
  イベントベースのカメラは、リッチエッジ情報、高ダイナミックレンジ、高時間分解能を提供する。 最先端のイベントベースのアルゴリズムの多くは、イベントを固定グループに分割することに依存しており、重要な時間情報の欠落をもたらす。 SpikeSlicerは、イベントストリームを適応的に分割可能な、新規に設計されたプラグアンドプレイイベント処理方式である。
  論文  参考訳（メタデータ） (2024-10-03T06:41:10Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Automotive Object Detection via Learning Sparse Events by Spiking Neurons [20.930277906912394]
  スパイキングニューラルネットワーク(SNN)は、本質的にイベントベースのデータと整合した時間的表現を提供する。 自動車のイベントベース物体検出に最適化された特化スパイキング特徴ピラミッドネットワーク(SpikeFPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:47:21Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Training Robust Spiking Neural Networks with ViewPoint Transform and SpatioTemporal Stretching [4.736525128377909]
  本稿では,新しいデータ拡張手法であるViewPoint Transform and Spatio Stretching(VPT-STS)を提案する。 時間領域の回転中心と角度を変換し、異なる視点からサンプルを生成することにより、スパイクニューラルネットワークの堅牢性を向上させる。 有意なニューロモルフィックデータセットの実験により、VPT-STSは多点表現に広く有効であり、純粋な空間幾何学的変換を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-14T03:09:56Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning [9.88508686848173]
  内在的なダイナミクスを持つ生物学的スパイキングニューロンは、脳の強力な表現力と学習能力を持つ。 ユークリッド空間タスクを処理するためのスパイクニューラルネットワーク(SNN)の最近の進歩にもかかわらず、非ユークリッド空間データの処理においてSNNを活用することは依然として困難である。 本稿では,グラフ学習のためのSNNの直接学習を可能にする,一般的なスパイクに基づくモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:20:16Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• HyNNA: Improved Performance for Neuromorphic Vision Sensor based Surveillance using Hybrid Neural Network Architecture [7.293414498855147]
  領域提案のための形態素画像処理アルゴリズムを用いて,最近提案されたハイブリッドイベントフレームアプローチを改善した。 また、様々な畳み込みニューラルネットワーク(CNN)アーキテクチャを探索することにより、オブジェクト検出と分類の低消費電力要求にも対処する。 具体的には、対象検出フレームワークから得られた結果を最先端の低出力NVS監視システムと比較し、63.1%から82.16%の改善精度を示した。
  論文  参考訳（メタデータ） (2020-03-19T07:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。