論文の概要: Low Latency Gaze Tracking via Latent Optical Sensing
- arxiv url: http://arxiv.org/abs/2605.17990v1
- Date: Mon, 18 May 2026 07:46:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.004911
- Title: Low Latency Gaze Tracking via Latent Optical Sensing
- Title(参考訳): 潜時光センシングによる低遅延注視追跡
- Authors: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich,
- Abstract要約: 完全受動光エンコーダを用いてタスク関連潜在機能を直接取得するリアルタイム視線追跡システムを提案する。
本研究では,実世界のシミュレーションデータと実世界のデータにアプローチの有効性を実証し,競合する視線推定精度を実現する。
この研究は、超低レイテンシ、計算効率の人-コンピュータインタラクションシステムにおけるタスク駆動型光センシングの可能性を強調した。
- 参考スコア(独自算出の注目度): 12.829480947195412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a real-time gaze tracking system that directly acquires task-relevant latent features using a fully passive optical encoder. Instead of forming and processing full-resolution images, our approach leverages a microlens array with a co-designed binary chromium mask to perform spatially multiplexed optical encoding, producing a compact set of measurements sufficient for gaze estimation. By integrating sensing and feature extraction in the optical domain, the proposed system eliminates the need for high-bandwidth image readout and substantially reduces computational overhead. The encoded measurements are captured by a 4 x 4 phototransistor array and mapped to gaze direction using a lightweight neural network. Our proof-of-concept prototype enables an end-to-end sensing-to-inference latency of 3.4 ms, outperforming published research systems. We demonstrate the effectiveness of our approach on both simulated and real-world data, achieving competitive gaze estimation accuracy while significantly improving latency and energy efficiency compared to conventional camera-based pipelines. This work highlights the potential of task-driven optical sensing for ultra-low-latency, computationally efficient human-computer interaction systems.
- Abstract(参考訳): 完全受動光エンコーダを用いてタスク関連潜在機能を直接取得するリアルタイム視線追跡システムを提案する。
提案手法では, フル解像度画像の生成と処理に代えて, マイクロレンズアレイと二元クロムマスクを併用して空間多重光符号化を行い, 視線推定に十分な測定値のコンパクト化を実現している。
光領域におけるセンシングと特徴抽出を統合することにより、高帯域画像読取の必要性を排除し、計算オーバーヘッドを大幅に削減する。
符号化された測定は4×4光トランジスタアレイで取得され、軽量ニューラルネットワークを用いて視線方向にマッピングされる。
概念実証プロトタイプは,3.4msの終端から終端までの遅延を許容し,公開研究システムより優れていた。
シミュレーションと実世界の両方のデータに対するアプローチの有効性を実証し、従来のカメラベースパイプラインと比較してレイテンシとエネルギー効率を著しく向上させながら、競合する視線推定精度を実現した。
この研究は、超低レイテンシ、計算効率の人-コンピュータインタラクションシステムにおけるタスク駆動型光センシングの可能性を強調した。
関連論文リスト
- Accelerating 3D Photoacoustic Computed Tomography with End-to-End Physics-Aware Neural Operators [74.65171736966131]
光音響計算トモグラフィ(PACT)は、光コントラストと超音波分解能を組み合わせることで、光拡散限界を超える深部像を実現する。
現在の実装では、高密度トランスデューサアレイと長い取得時間を必要とし、臨床翻訳を制限している。
本研究では,センサ計測からボリューム再構成まで,逆音響マッピングを直接学習する物理認識モデルであるPanoを紹介する。
論文 参考訳(メタデータ) (2025-09-11T23:12:55Z) - Nonlinear optical encoding enabled by recurrent linear scattering [16.952531256252744]
連続波レーザーを用いた光非線形ランダムマッピングを低出力で受動的に誘導する設計を提案する。
我々は,読み出し次元が減少しても,設計が重要な情報を保持することを実証した。
この能力により、当社の光学プラットフォームは、アプリケーション間で効率的な光学情報処理ソリューションを提供することができます。
論文 参考訳(メタデータ) (2023-07-17T15:15:47Z) - Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳(メタデータ) (2023-04-14T14:03:35Z) - Scattering-induced entropy boost for highly-compressed optical sensing and encryption [7.502671257653539]
画像センシングは、大きな視野と高解像度を持つ高品質のマシンビジョンシステムに依存していることが多い。
資源効率の高い画像分類のための新しい画像フリーセンシングフレームワークを提案する。
提案手法は, MNISTデータセットの分類において, サンプリングレートが1%, 5%で95%以上精度が得られた。
論文 参考訳(メタデータ) (2022-12-16T09:00:42Z) - Sensor-Guided Optical Flow [53.295332513139925]
本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。
能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
論文 参考訳(メタデータ) (2021-09-30T17:59:57Z) - Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian
Photometric Stereo [61.6260594326246]
空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。
分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
論文 参考訳(メタデータ) (2021-03-22T18:06:58Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z) - Fast and Accurate Light Field Saliency Detection through Deep Encoding [0.8356765961526955]
光電界のサリエンシ検出は依然として速度に欠けており、精度も向上している。
既存のアプローチでは、トレーニングに必要な大量の計算リソースを消費し、テストの実行時間も長くなります。
より小さな3チャンネル特徴写像に、大規模光フィールド画像を積極的に還元することで、この問題を解消する。
論文 参考訳(メタデータ) (2020-10-25T09:15:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。