論文の概要: Exploring Temporal Dynamics in Event-based Eye Tracker

• arxiv url: http://arxiv.org/abs/2503.23725v1
• Date: Mon, 31 Mar 2025 04:57:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:35:19.840721
• Title: Exploring Temporal Dynamics in Event-based Eye Tracker
• Title（参考訳）: イベントベースアイトラッカにおける時間ダイナミクスの探索
• Authors: Hongwei Ren, Xiaopeng Lin, Hongxiang Huang, Yue Zhou, Bojun Cheng,
• Abstract要約: アイトラッキングは、特にAR、VR、XRといったウェアラブルデバイスにおいて、人間とコンピュータのインタラクションにとって重要な技術である。 フレームベース画像センサを用いた高速かつ高精度なアイトラッキングの実現は、時間分解能の制限により制限される。 TDTrackerは、時間的ダイナミクスを徹底的にモデル化することで、目の動きを素早く捉える効果的なアイトラッキングフレームワークである。
• 参考スコア（独自算出の注目度）: 3.3325719644030016
• License:
• Abstract: Eye-tracking is a vital technology for human-computer interaction, especially in wearable devices such as AR, VR, and XR. The realization of high-speed and high-precision eye-tracking using frame-based image sensors is constrained by their limited temporal resolution, which impairs the accurate capture of rapid ocular dynamics, such as saccades and blinks. Event cameras, inspired by biological vision systems, are capable of perceiving eye movements with extremely low power consumption and ultra-high temporal resolution. This makes them a promising solution for achieving high-speed, high-precision tracking with rich temporal dynamics. In this paper, we propose TDTracker, an effective eye-tracking framework that captures rapid eye movements by thoroughly modeling temporal dynamics from both implicit and explicit perspectives. TDTracker utilizes 3D convolutional neural networks to capture implicit short-term temporal dynamics and employs a cascaded structure consisting of a Frequency-aware Module, GRU, and Mamba to extract explicit long-term temporal dynamics. Ultimately, a prediction heatmap is used for eye coordinate regression. Experimental results demonstrate that TDTracker achieves state-of-the-art (SOTA) performance on the synthetic SEET dataset and secured Third place in the CVPR event-based eye-tracking challenge 2025. Our code is available at https://github.com/rhwxmx/TDTracker.
• Abstract（参考訳）: アイトラッキングは、特にAR、VR、XRといったウェアラブルデバイスにおいて、人間とコンピュータのインタラクションにとって重要な技術である。 フレームベース画像センサを用いた高速かつ高精度なアイトラッキングの実現は、その時間分解能の制限によって制限され、ササードや点滅などの高速な眼球運動の正確な捕捉を損なう。 生体視覚システムにインスパイアされたイベントカメラは、非常に低い消費電力と超高時間分解能で目の動きを知覚することができる。 これにより、リッチ時間ダイナミクスによる高速かつ高精度なトラッキングを実現するための有望なソリューションとなる。 本稿では,暗黙的視点と明示的視点の両方から時間的ダイナミクスを徹底的にモデル化することにより,眼球運動を効果的に捉えるための眼球運動追跡フレームワークであるTDTrackerを提案する。 TDTrackerは3D畳み込みニューラルネットワークを用いて暗黙の短期的時間的ダイナミクスを捉え、周波数対応モジュール、GRU、Mambaで構成されるカスケード構造を用いて、明示的な長期的時間的ダイナミクスを抽出する。 最終的に、アイ座標の回帰には予測ヒートマップが使用される。 実験により,TDTrackerは合成SEETデータセット上でのSOTA(State-of-the-art)性能を達成し,CVPRイベントベースの視線追跡課題2025において第3位を確保した。 私たちのコードはhttps://github.com/rhwxmx/TDTracker.comから入手可能です。

関連論文リスト

• TOFFE -- Temporally-binned Object Flow from Events for High-speed and Energy-Efficient Object Detection and Tracking [10.458676835674847]
  イベントベースのカメラは、非常に高時間分解能と低消費電力で強度レベルの変化だけを捉えることで、生物学的にインスパイアされた解決策を提供する。 イベントベースの物体の動き推定を行うための軽量ハイブリッドフレームワークTOFFEを提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:20:34Z)
• EyeTrAES: Fine-grained, Low-Latency Eye Tracking via Adaptive Event Slicing [2.9795443606634917]
  EyeTrAESは、自然眼球運動の高忠実度追跡のためのニューロモルフィックイベントカメラを用いた新しいアプローチである。 その結果,EyeTrAESの瞳孔追跡精度は6+%向上し,IoU=92%,IoU=32%向上した。 頑健なユーザ認証のために,短期瞳孔運動学の特徴ベクトルを用いて,ユーザ当たりの軽量なランダムフォレスト分類器を訓練する。
  論文  参考訳（メタデータ） (2024-09-27T15:06:05Z)
• FAPNet: An Effective Frequency Adaptive Point-based Eye Tracker [0.6554326244334868]
  イベントカメラは、視線追跡の領域における従来のカメラに代わるものだ。 既存のイベントベースの視線追跡ネットワークは、イベントにおける重要できめ細かい時間情報を無視する。 本稿では、ポイントクラウドをイベント表現として利用し、視線追跡タスクにおける事象の高時間分解能とスパース特性を利用する。
  論文  参考訳（メタデータ） (2024-06-05T12:08:01Z)
• Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
  効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。 DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。 複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
  論文  参考訳（メタデータ） (2024-03-26T12:31:58Z)
• PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
  複数の物体追跡は、自律運転において重要な課題である。 トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
  論文  参考訳（メタデータ） (2024-03-23T04:18:49Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Recurrent Vision Transformers for Object Detection with Event Cameras [62.27246562304705]
  本稿では,イベントカメラを用いた物体検出のための新しいバックボーンであるリカレントビジョントランス (RVT) を提案する。 RVTは、イベントベースのオブジェクト検出で最先端のパフォーマンスに到達するために、ゼロからトレーニングすることができる。 私たちの研究は、イベントベースのビジョンを超えた研究に役立ち得る効果的なデザイン選択に、新たな洞察をもたらします。
  論文  参考訳（メタデータ） (2022-12-11T20:28:59Z)
• PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based Cameras [4.110120522045467]
  イベントカメラは、動的環境における高速な視覚センシングを保証できるが、ロボットのエゴモーションによって引き起こされる高いデータ速度に追従できる追跡アルゴリズムを必要とする。 本稿では,EROS(Exponential Reduced Ordinal Surface)データ表現を利用してイベント・バイ・イベント処理とトラッキングを分離する新しいトラッキング手法を提案する。 エアホッケーパックが表面を滑り落ちるのをトラッキングするタスクを提案し、将来はiCubロボットを正確に時間通りに目標に到達させることが目的である。
  論文  参考訳（メタデータ） (2022-05-16T13:23:52Z)
• Distractor-Aware Fast Tracking via Dynamic Convolutions and MOT Philosophy [63.91005999481061]
  実用的長期トラッカーは、典型的には3つの重要な特性を含む。 効率的なモデル設計、効果的なグローバル再検出戦略、堅牢な気晴らし認識メカニズム。 動的畳み込み (d-convs) と多重オブジェクト追跡 (MOT) の哲学を用いて, 注意をそらした高速トラッキングを実現するための2タスクトラッキングフレームワーク(DMTrack)を提案する。 我々のトラッカーはLaSOT, OxUvA, TLP, VOT2018LT, VOT 2019LTベンチマークの最先端性能を実現し, リアルタイム3倍高速に動作させる。
  論文  参考訳（メタデータ） (2021-04-25T00:59:53Z)
• DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection [78.04869214450963]
  時間情報と空間情報のより効果的な融合のための新しい動的時空間ネットワーク(DSNet)を提案する。 提案手法は最先端アルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-09T06:42:30Z)
• Real-Time Face & Eye Tracking and Blink Detection using Event Cameras [3.842206880015537]
  イベントカメラには、各ピクセルの局所的な光強度の変化を捉え、非同期イベントのストリームを生成する、新しいニューロモルフィックな視覚センサが含まれている。 ドライバー監視システム(英: Driver monitoring system、DMS)は、ドライバーの身体的および認知状態を感知し理解するために設計されたキャビン内の安全システムである。 本稿では,運転者監視のための顔と視線を同時に検出・追跡する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T10:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。