論文の概要: FlatTrack: Eye-tracking with ultra-thin lensless cameras
- arxiv url: http://arxiv.org/abs/2501.15450v1
- Date: Sun, 26 Jan 2025 08:44:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:54:51.556333
- Title: FlatTrack: Eye-tracking with ultra-thin lensless cameras
- Title（参考訳）: FlatTrack:超薄型レンズレスカメラによる視線追跡
- Authors: Purvam Jain, Althaf M. Nazar, Salman S. Khan, Kaushik Mitra, Praneeth Chakravarthula,
- Abstract要約: 既存のアイトラッカーは、厚い複合光学素子に基づくカメラを使用しており、目から焦点を合わせるためにカメラを配置する必要がある。
この制限を克服するために、マスクベースのレンズレスカメラを用いたコンパクトな平面視線トラッカーを構築した。
これらのカメラは、共同設計の軽量ディープニューラルネットワークアルゴリズムと組み合わせて、眼鏡フレーム内で、眼に非常に近い位置に配置することができる。
提案した視線追跡システムは、従来のレンズベースのトラッカーと同等に動作し、よりフラットでコンパクトなフォームファクターを維持できることを示す。
- 参考スコア（独自算出の注目度）: 15.956368637004529
- License:
- Abstract: Existing eye trackers use cameras based on thick compound optical elements, necessitating the cameras to be placed at focusing distance from the eyes. This results in the overall bulk of wearable eye trackers, especially for augmented and virtual reality (AR/VR) headsets. We overcome this limitation by building a compact flat eye gaze tracker using mask-based lensless cameras. These cameras, in combination with co-designed lightweight deep neural network algorithm, can be placed in extreme close proximity to the eye, within the eyeglasses frame, resulting in ultra-flat and lightweight eye gaze tracker system. We collect a large dataset of near-eye lensless camera measurements along with their calibrated gaze directions for training the gaze tracking network. Through real and simulation experiments, we show that the proposed gaze tracking system performs on par with conventional lens-based trackers while maintaining a significantly flatter and more compact form-factor. Moreover, our gaze regressor boasts real-time (>125 fps) performance for gaze tracking.
- Abstract（参考訳）: 既存のアイトラッカーは、厚い複合光学素子に基づくカメラを使用しており、目から焦点を合わせるためにカメラを配置する必要がある。
これにより、多くのウェアラブルアイトラッカー、特に拡張現実と仮想現実(AR/VR)ヘッドセットが実現される。
この制限を克服するために、マスクベースのレンズレスカメラを用いたコンパクトな平面視線トラッカーを構築した。
これらのカメラは、共同設計された軽量のディープニューラルネットワークアルゴリズムと組み合わせて、眼鏡フレーム内の眼に非常に近い位置に配置され、超平坦で軽量な視線追跡システムをもたらす。
我々は、視線追跡ネットワークをトレーニングするための視線方向の調整とともに、近目レンズレスカメラ測定の大規模なデータセットを収集する。
実測およびシミュレーション実験により,提案した視線追跡システムは従来のレンズベースのトラッカーと同等に動作し,より平坦でコンパクトな形状因子を維持した。
さらに、視線追跡のためのリアルタイム(>125 fps)性能を誇っている。
関連論文リスト
- BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。
本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。
実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-09-26T15:54:18Z) - Using Deep Learning to Increase Eye-Tracking Robustness, Accuracy, and Precision in Virtual Reality [2.2639735235640015]
この研究は、目の特徴追跡のための現代の機械学習(ML)に基づくいくつかの手法の影響を客観的に評価する。
メトリックには、視線推定の精度と精度、およびドロップアウト率が含まれる。
論文 参考訳（メタデータ） (2024-03-28T18:43:25Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Event-based Visual Tracking in Dynamic Environments [0.0]
イベントカメラとオフザシェルフ深層学習の両方を活用するためのフレームワークを提案する。
イベントデータを強度フレームに再構成することで、従来のカメラが許容できない状況下でのトラッキング性能が向上することを示す。
論文 参考訳（メタデータ） (2022-12-15T12:18:13Z) - Graph-Based Multi-Camera Soccer Player Tracker [1.6244541005112743]
本稿では,サッカー場周辺に設置した複数のキャリブレーションカメラから,長撮影映像記録におけるサッカー選手の追跡を目的としたマルチカメラ追跡手法を提案する。
カメラとの距離が大きいため、個々のプレイヤーを視覚的に区別することは困難であり、従来のソリューションの性能に悪影響を及ぼす。
本手法は,各プレイヤーのダイナミクスと周辺プレイヤー間の相互作用に着目し,トラッキング性能の向上を図る。
論文 参考訳（メタデータ） (2022-11-03T20:01:48Z) - Slippage-robust Gaze Tracking for Near-eye Display [14.038708833057534]
ヘッドマウントデバイス(HMD)のスリップは、視線追跡エラーを高くする。
球状眼球モデルに基づく近目表示のためのすべり面ローバストな視線追跡法を提案する。
論文 参考訳（メタデータ） (2022-10-20T23:47:56Z) - ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving
Cameras in the Wild [57.37891682117178]
本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。
不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。
MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
論文 参考訳（メタデータ） (2022-07-19T09:19:45Z) - Scalable and Real-time Multi-Camera Vehicle Detection,
Re-Identification, and Tracking [58.95210121654722]
理想化されたビデオストリームやキュレートされたビデオストリームの代わりに,リアルタイムで低解像度のCCTVを処理する,リアルタイムな都市規模のマルチカメラ車両追跡システムを提案する。
私たちの手法は、公共のリーダーボードで上位5人のパフォーマーにランク付けされています。
論文 参考訳（メタデータ） (2022-04-15T12:47:01Z) - 1000x Faster Camera and Machine Vision with Ordinary Devices [76.46540270145698]
我々は、光子の蓄積がしきい値に達したかどうかを各ビットが示すビットシーケンスアレイであるvidarを提示する。
我々は従来のカメラより1000倍高速なヴィダーカメラを開発した。
我々はまた、マシンの速度と生物学的視覚のメカニズムを組み合わせたスパイクニューラルネットワークベースのマシンビジョンシステムを開発した。
論文 参考訳（メタデータ） (2022-01-23T16:10:11Z) - Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。
本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。
視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
論文 参考訳（メタデータ） (2020-07-26T12:39:15Z) - Event Based, Near Eye Gaze Tracking Beyond 10,000Hz [41.23347304960948]
我々は,1万Hzを超える更新率を有するハイブリッドフレームイベントベースの近目視追跡システムを提案する。
我々のシステムは、定期的にサンプリングされたフレームと適応的にサンプリングされたイベントを同時に取得する新興イベントカメラの上に構築されている。
我々は,仮想現実と拡張現実のための,次世代の超低遅延視線コンテンツレンダリングおよび表示技術の実現を期待している。
論文 参考訳（メタデータ） (2020-04-07T17:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。