論文の概要: Realizing Fully-Integrated, Low-Power, Event-Based Pupil Tracking with Neuromorphic Hardware

• arxiv url: http://arxiv.org/abs/2511.20175v1
• Date: Tue, 25 Nov 2025 10:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.412845
• Title: Realizing Fully-Integrated, Low-Power, Event-Based Pupil Tracking with Neuromorphic Hardware
• Title（参考訳）: ニューロモルフィックハードウェアを用いた完全一体型低消費電力イベントベースプルトラッキングの実現
• Authors: Federico Paredes-Valles, Yoshitaka Miyatani, Kirk Y. W. Scheper,
• Abstract要約: 本報告では,デバイス上での完全統合による,電池駆動型ウェアラブル型瞳孔追跡システムについて紹介する。 我々のソリューションは、厳密なメモリと帯域幅の制約に最適化されたゲート時間デコーディングを備えた、新しい不確実性量子化スパイクニューラルネットワークを備えている。 我々の研究は、エンド・ツー・エンドのニューロモルフィック・コンピューティングが、次世代のエネルギー効率の高いウェアラブルシステムに対して実用的で常に目の動きを追跡することを実証している。
• 参考スコア（独自算出の注目度）: 2.2940141855172036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Eye tracking is fundamental to numerous applications, yet achieving robust, high-frequency tracking with ultra-low power consumption remains challenging for wearable platforms. While event-based vision sensors offer microsecond resolution and sparse data streams, they have lacked fully integrated, low-power processing solutions capable of real-time inference. In this work, we present the first battery-powered, wearable pupil-center-tracking system with complete on-device integration, combining event-based sensing and neuromorphic processing on the commercially available Speck2f system-on-chip with lightweight coordinate decoding on a low-power microcontroller. Our solution features a novel uncertainty-quantifying spiking neural network with gated temporal decoding, optimized for strict memory and bandwidth constraints, complemented by systematic deployment mechanisms that bridge the reality gap. We validate our system on a new multi-user dataset and demonstrate a wearable prototype with dual neuromorphic devices achieving robust binocular pupil tracking at 100 Hz with an average power consumption below 5 mW per eye. Our work demonstrates that end-to-end neuromorphic computing enables practical, always-on eye tracking for next-generation energy-efficient wearable systems.
• Abstract（参考訳）: アイトラッキングは多くのアプリケーションに基本的だが、ウェアラブルプラットフォームでは依然として、超低消費電力で堅牢で高周波なトラッキングを実現することが難しい。 イベントベースの視覚センサーはマイクロ秒の解像度とスパースデータストリームを提供するが、リアルタイム推論が可能な完全に統合された低消費電力の処理ソリューションは欠けていた。 そこで本研究では,市販のSpeck2fシステムオンチップ上でのイベントベースセンシングとニューロモルフィック処理と,低消費電力マイクロコントローラ上での軽量座標復号処理を組み合わせた,電池駆動型ウェアラブル瞳孔追跡システムを提案する。 我々のソリューションは、厳密なメモリと帯域幅の制約に最適化され、現実のギャップを埋める体系的な配置機構によって補完されるゲート時間デコーディングを備えた、新しい不確実性量子化スパイクニューラルネットワークを備えている。 我々は,新しいマルチユーザデータセットを用いて,2つのニューロモルフィックデバイスを用いたウェアラブルのプロトタイプを検証し,100Hzの頑健な瞳孔追跡を実現し,平均消費電力を5mW以下とした。 我々の研究は、エンド・ツー・エンドのニューロモーフィック・コンピューティングが、次世代のエネルギー効率の高いウェアラブルシステムに対して実用的で常に目の動きを追跡することを実証している。

関連論文リスト

• Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN [8.613703056677457]
  アイトラッキング技術は多くの消費者向けエレクトロニクスアプリケーション、特に仮想現実および拡張現実(VR/AR)において不可欠である しかし、これらすべての面で最適なパフォーマンスを達成することは、非常に難しい課題である。 我々は,この課題に,システムとイベントカメラを併用したシナジスティックなソフトウェア/ハードウェアの共同設計を通じて対処する。 本システムでは,81%のp5精度,99.5%のp10精度,および3.71のMeanean Distanceを0.7msのレイテンシで実現し,1推論あたり2.29mJしか消費しない。
  論文  参考訳（メタデータ） (2024-04-22T15:28:42Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• Low-power event-based face detection with asynchronous neuromorphic hardware [2.0774873363739985]
  本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。 トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。 オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
  論文  参考訳（メタデータ） (2023-12-21T19:23:02Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Neuromorphic Optical Flow and Real-time Implementation with Event Cameras [47.11134388304464]
  イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。 我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。 約2桁の複雑さで高速な光流予測を行う。
  論文  参考訳（メタデータ） (2023-04-14T14:03:35Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Many-to-One Knowledge Distillation of Real-Time Epileptic Seizure Detection for Low-Power Wearable Internet of Things Systems [6.90334498220711]
  低消費電力のウェアラブルIoTシステムと定期的な健康モニタリングを統合することは、現在進行中の課題である。 ウェアラブルの計算能力の最近の進歩により、複数のバイオシグナーを利用する複雑なシナリオをターゲットにすることが可能になった。 身体的に大きく、バイオシグナーをベースとしたウェアラブルは、患者にとって大きな不快感をもたらす。 本稿では,IoTウェアラブルシステムにおける単一生体信号処理を対象とした多対一信号の知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-07-20T12:22:26Z)
• An adaptive cognitive sensor node for ECG monitoring in the Internet of Medical Things [0.7646713951724011]
  インターネット・オブ・メディカル・モノズ(IoMT)パラダイムは、複数の臨床試験や医療処置で主流になりつつある。 本研究では,資源制約型コンピューティングプラットフォームにおける認知データ解析アルゴリズムの実装について検討する。 コンボリューションニューラルネットワークを用いて心電図のトレースを分類する手法について検討した。
  論文  参考訳（メタデータ） (2021-06-11T16:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。