論文の概要: FACET: Fast and Accurate Event-Based Eye Tracking Using Ellipse Modeling for Extended Reality
- arxiv url: http://arxiv.org/abs/2409.15584v1
- Date: Mon, 23 Sep 2024 22:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 12:02:22.543901
- Title: FACET: Fast and Accurate Event-Based Eye Tracking Using Ellipse Modeling for Extended Reality
- Title（参考訳）: FACET:楕円モデルを用いた高速かつ高精度なイベントベースアイトラッキングによる拡張現実感
- Authors: Junyuan Ding, Ziteng Wang, Chang Gao, Min Liu, Qinyu Chen,
- Abstract要約: イベントカメラは、高時間分解能と低消費電力のため、有望な代替手段を提供する。
FACET(Fast and Accurate Event-based Eye Tracking)は、イベントデータから瞳孔パラメータを直接出力するエンドツーエンドのニューラルネットワークである。
改良されたEV-Eyeテストセットでは、FACETは平均瞳孔中心誤差0.20ピクセル、推論時間0.53msを達成する。
- 参考スコア（独自算出の注目度）: 14.120171971211777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Eye tracking is a key technology for gaze-based interactions in Extended Reality (XR), but traditional frame-based systems struggle to meet XR's demands for high accuracy, low latency, and power efficiency. Event cameras offer a promising alternative due to their high temporal resolution and low power consumption. In this paper, we present FACET (Fast and Accurate Event-based Eye Tracking), an end-to-end neural network that directly outputs pupil ellipse parameters from event data, optimized for real-time XR applications. The ellipse output can be directly used in subsequent ellipse-based pupil trackers. We enhance the EV-Eye dataset by expanding annotated data and converting original mask labels to ellipse-based annotations to train the model. Besides, a novel trigonometric loss is adopted to address angle discontinuities and a fast causal event volume event representation method is put forward. On the enhanced EV-Eye test set, FACET achieves an average pupil center error of 0.20 pixels and an inference time of 0.53 ms, reducing pixel error and inference time by 1.6$\times$ and 1.8$\times$ compared to the prior art, EV-Eye, with 4.4$\times$ and 11.7$\times$ less parameters and arithmetic operations. The code is available at https://github.com/DeanJY/FACET.
- Abstract（参考訳）: アイトラッキングは、拡張現実感(XR)における視線に基づくインタラクションの重要な技術であるが、従来のフレームベースのシステムは、高い精度、低レイテンシ、電力効率に対するXRの要求を満たすのに苦労している。
イベントカメラは、高時間分解能と低消費電力のため、有望な代替手段を提供する。
本稿では,FACET(Fast and Accurate Event-based Eye Tracking)という,リアルタイムXRアプリケーションに最適化されたイベントデータから瞳孔楕円パラメータを直接出力するエンドツーエンドニューラルネットワークを提案する。
楕円出力は、後続の楕円ベースの瞳孔トラッカーで直接使用することができる。
注釈付きデータを拡張し、元のマスクラベルを楕円ベースのアノテーションに変換してモデルをトレーニングすることでEV-Eyeデータセットを強化します。
さらに、角度の不連続に対処するために新しい三角損失を採用し、高速因果イベントボリュームイベント表現法を前進させる。
強化されたEV-Eyeテストセットでは、FACETは平均瞳孔中心誤差0.20ピクセル、推論時間0.53ミリ秒を達成し、従来のEV-Eyeと比較すると、ピクセル誤差と推論時間を1.6$\times$と1.8$\times$に減らし、パラメータと算術演算は4.4$\times$と11.7$\times$に減らした。
コードはhttps://github.com/DeanJY/FACET.comで入手できる。
関連論文リスト
- EyeTrAES: Fine-grained, Low-Latency Eye Tracking via Adaptive Event Slicing [2.9795443606634917]
EyeTrAESは、自然眼球運動の高忠実度追跡のためのニューロモルフィックイベントカメラを用いた新しいアプローチである。
その結果,EyeTrAESの瞳孔追跡精度は6+%向上し,IoU=92%,IoU=32%向上した。
頑健なユーザ認証のために,短期瞳孔運動学の特徴ベクトルを用いて,ユーザ当たりの軽量なランダムフォレスト分類器を訓練する。
論文 参考訳（メタデータ） (2024-09-27T15:06:05Z) - FAPNet: An Effective Frequency Adaptive Point-based Eye Tracker [0.6554326244334868]
イベントカメラは、視線追跡の領域における従来のカメラに代わるものだ。
既存のイベントベースの視線追跡ネットワークは、イベントにおける重要できめ細かい時間情報を無視する。
本稿では、ポイントクラウドをイベント表現として利用し、視線追跡タスクにおける事象の高時間分解能とスパース特性を利用する。
論文 参考訳（メタデータ） (2024-06-05T12:08:01Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳（メタデータ） (2023-10-03T21:08:41Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳（メタデータ） (2023-09-15T14:19:36Z) - 3ET: Efficient Event-based Eye Tracking using a Change-Based ConvLSTM
Network [12.697820427228573]
本稿では、イベントベースの視線追跡のためのスパースチェンジベース Congenerational Long ShortTerm Memory (CB-ConvLSTM) モデルを提案する。
私たちは、従来のフレームベースのカメラよりも、網膜にインスパイアされたイベントカメラ、低遅延応答とスパース出力ストリームの利点を活用しています。
論文 参考訳（メタデータ） (2023-08-22T20:24:24Z) - EV-Catcher: High-Speed Object Catching Using Low-latency Event-based
Neural Networks [107.62975594230687]
イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。
イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。
計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
論文 参考訳（メタデータ） (2023-04-14T15:23:28Z) - Optical flow estimation from event-based cameras and spiking neural
networks [0.4899818550820575]
イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である
教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。
分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
論文 参考訳（メタデータ） (2023-02-13T16:17:54Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳（メタデータ） (2021-06-02T07:36:27Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。
本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。
視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
論文 参考訳（メタデータ） (2020-07-26T12:39:15Z) - Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。
我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。
我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
論文 参考訳（メタデータ） (2020-04-07T17:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。