論文の概要: Neuromorphic Eye Tracking for Low-Latency Pupil Detection
- arxiv url: http://arxiv.org/abs/2512.09969v1
- Date: Wed, 10 Dec 2025 11:30:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:41.999273
- Title: Neuromorphic Eye Tracking for Low-Latency Pupil Detection
- Title（参考訳）: 低遅延瞳孔検出のためのニューロモルフィックアイトラッキング
- Authors: Paul Hueber, Luca Peres, Florian Pitters, Alejandro Gloriani, Oliver Rhodes,
- Abstract要約: ウェアラブルシステムのアイトラッキングは低レイテンシとミリワットレベルの電力を必要とする。
ニューロモルフィックセンサーとスパイクニューラルネットワーク(SNN)は、有望な代替手段を提供する。
本稿では,トップパフォーマンスイベントベースの視線追跡モデルのニューロモルフィック版を提案する。
- 参考スコア（独自算出の注目度）: 37.091037454305024
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Eye tracking for wearable systems demands low latency and milliwatt-level power, but conventional frame-based pipelines struggle with motion blur, high compute cost, and limited temporal resolution. Such capabilities are vital for enabling seamless and responsive interaction in emerging technologies like augmented reality (AR) and virtual reality (VR), where understanding user gaze is key to immersion and interface design. Neuromorphic sensors and spiking neural networks (SNNs) offer a promising alternative, yet existing SNN approaches are either too specialized or fall short of the performance of modern ANN architectures. This paper presents a neuromorphic version of top-performing event-based eye-tracking models, replacing their recurrent and attention modules with lightweight LIF layers and exploiting depth-wise separable convolutions to reduce model complexity. Our models obtain 3.7-4.1px mean error, approaching the accuracy of the application-specific neuromorphic system, Retina (3.24px), while reducing model size by 20x and theoretical compute by 850x, compared to the closest ANN variant of the proposed model. These efficient variants are projected to operate at an estimated 3.9-4.9 mW with 3 ms latency at 1 kHz. The present results indicate that high-performing event-based eye-tracking architectures can be redesigned as SNNs with substantial efficiency gains, while retaining accuracy suitable for real-time wearable deployment.
- Abstract（参考訳）: ウェアラブルシステムのアイトラッキングは低レイテンシとミリワットレベルの電力を必要とするが、従来のフレームベースのパイプラインは動きのぼやけ、高い計算コスト、時間分解能の制限に悩まされている。
このような機能は、拡張現実(AR)や仮想現実(VR)といった新興テクノロジーにおけるシームレスでレスポンシブなインタラクションの実現に不可欠だ。
ニューロモルフィックセンサーとスパイクニューラルネットワーク(SNN)は有望な代替手段を提供するが、既存のSNNアプローチは専門的すぎるか、現代のANNアーキテクチャのパフォーマンスに劣っている。
本稿では, イベントベースアイトラッキングモデルのニューロモーフィック版を提示し, 再帰型および注意型モジュールを軽量LIF層に置き換え, モデル複雑性を低減するために, 深度的に分離可能な畳み込みを利用した。
提案モデルでは,アプリケーション固有のニューロモルフィックシステムであるRetina(3.24px)の精度に近づき,モデルサイズを20倍,理論計算を850倍に削減し,平均誤差を3.7-4.1pxとした。
これらの効率的な変種は推定3.9-4.9mWで、遅延は3msで1kHzと予測されている。
その結果,高性能なイベントベースアイトラッキングアーキテクチャを,リアルタイムなウェアラブルデプロイメントに適した精度を維持しつつ,大幅な効率向上を実現したSNNとして再設計できることが示唆された。
関連論文リスト
- One-Timestep is Enough: Achieving High-performance ANN-to-SNN Conversion via Scale-and-Fire Neurons [7.289542889212981]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)のエネルギー効率の良い代替品である
単段階ANN2SNNの理論的および実用的枠組みを提案する。
ImageNet-1Kの88.8%の精度を$T=1$で達成し、既存の変換手法を上回りました。
論文 参考訳（メタデータ） (2025-10-27T14:35:14Z) - GazeSCRNN: Event-based Near-eye Gaze Tracking using a Spiking Neural Network [0.0]
この研究は、イベントベースの近目視追跡用に設計された新しい畳み込みリカレントニューラルネットワークであるGazeSCRNNを紹介する。
モデル処理は、Adaptive Leaky-Integrate-and-Fire(ALIF)ニューロンと、時間データのためのハイブリッドアーキテクチャを使用して、DVSカメラからのイベントストリームを処理する。
最も正確なモデルは6.034degdegの平均角誤差(MAE)と2.094mmの平均角誤差(MPE)である。
論文 参考訳（メタデータ） (2025-03-20T10:32:15Z) - Activation-wise Propagation: A Universal Strategy to Break Timestep Constraints in Spiking Neural Networks for 3D Data Processing [29.279985043923386]
スパイキングニューロンに対する新しい状態更新機構であるAMP2(Activation-wise membrane potential Propagation)を導入する。
深いネットワークで接続をスキップすることで刺激を受け、AMP2はニューロンの膜電位をネットワークに組み込み、反復的な更新を不要にする。
提案手法は,3次元点雲やイベントストリームなど,様々な3次元モードの大幅な改善を実現する。
論文 参考訳（メタデータ） (2025-02-18T11:52:25Z) - Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network [1.5215973379400674]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)の代替としてエネルギー効率が高いと見なされる
変換されたSNNの性能と効率を大幅に向上させる一貫した学習自由変換フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T09:38:54Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - LaneSNNs: Spiking Neural Networks for Lane Detection on the Loihi
Neuromorphic Processor [12.47874622269824]
我々は、イベントベースのカメラ入力を用いて、道路にマークされた車線を検出するための新しいSNNベースのアプローチであるLaneSNNを提案する。
我々は、学習したSNNモデルをIntel Loihi Neuromorphic Research Chipに実装し、マッピングする。
損失関数に対して,重み付き二元交叉エントロピー(WCE)と平均二乗誤差(MSE)の線形合成に基づく新しい手法を開発した。
論文 参考訳（メタデータ） (2022-08-03T14:51:15Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。