論文の概要: Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry

• arxiv url: http://arxiv.org/abs/2308.07298v2
• Date: Tue, 15 Aug 2023 19:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 10:22:11.389163
• Title: Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry
• Title（参考訳）: シングルショットデフレクトメトリーによる高密度3次元表面再構成からの正確な視線追跡
• Authors: Jiazhang Wang, Tianfu Wang, Bingjie Xu, Oliver Cossairt, Florian Willomitzer
• Abstract要約: 単発位相計測-デフレクトメトリー(PMD)を用いた視線方向の高精度かつ高速な評価法を提案する。 本手法は,1枚のカメラフレーム(単一ショット)内でのみ,角膜および頭蓋骨の高密度な3次元表面情報を取得する。
• 参考スコア（独自算出の注目度）: 14.26583534657278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Eye-tracking plays a crucial role in the development of virtual reality devices, neuroscience research, and psychology. Despite its significance in numerous applications, achieving an accurate, robust, and fast eye-tracking solution remains a considerable challenge for current state-of-the-art methods. While existing reflection-based techniques (e.g., "glint tracking") are considered the most accurate, their performance is limited by their reliance on sparse 3D surface data acquired solely from the cornea surface. In this paper, we rethink the way how specular reflections can be used for eye tracking: We propose a novel method for accurate and fast evaluation of the gaze direction that exploits teachings from single-shot phase-measuring-deflectometry (PMD). In contrast to state-of-the-art reflection-based methods, our method acquires dense 3D surface information of both cornea and sclera within only one single camera frame (single-shot). Improvements in acquired reflection surface points("glints") of factors $>3300 \times$ are easily achievable. We show the feasibility of our approach with experimentally evaluated gaze errors of only $\leq 0.25^\circ$ demonstrating a significant improvement over the current state-of-the-art.
• Abstract（参考訳）: 視線追跡は、仮想現実デバイス、神経科学研究、心理学の発展において重要な役割を果たす。 多くのアプリケーションでその重要性はあったが、正確で堅牢で高速な視線追跡ソリューションの実現は、現在の最先端の手法にとって大きな課題である。 既存の反射に基づく技術(例えば「グリントトラッキング」)は最も正確であると考えられているが、その性能は角膜表面からのみ取得されたスパース3D表面データに依存しているため限られている。 本稿では,視線追跡における鏡面反射の応用法を再考し,単発位相計測法(pmd)からの指導を生かした視線方向の高精度かつ高速評価法を提案する。 現状の反射法とは対照的に,本手法は1枚のカメラフレーム(単一ショット)で角膜と頭蓋の密集した3次元表面情報を取得する。 取得された係数$>3300 \times$の反射面点("glints")の改善は容易に達成できる。 実験で評価した視線誤差は$\leq 0.25^\circ$であり,現状よりも大幅に改善した。

関連論文リスト

• 3D Imaging of Complex Specular Surfaces by Fusing Polarimetric and Deflectometric Information [5.729076985389067]
  そこで本研究では,新しい手法を用いて,反射光場に含まれる情報を符号化し,復号化するための計測原理を提案する。 提案手法では,SfPの非現実的正像像像の仮定を除去し,それぞれの結果を大幅に改善する。 複素形状の鏡面上での単発・多発計測を実演し,本手法について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T06:24:07Z)
• DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery [4.940128337433944]
  本稿では,U-Net 3+のディープラーニングバックボーンをベースとした軽量なフレームワークを提案する。 本手法は,3次元眼球周囲領域を再構成し,関連する光刺激計算プロトコルと医療ガイドラインの計量基準を提供する。 被験者36名を対象に, 眼球全球精度評価実験, 瞳孔径測定において有意な有効性を示した。
  論文  参考訳（メタデータ） (2023-11-13T10:55:05Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Optimization-Based Eye Tracking using Deflectometric Information [14.010352335803873]
  最先端の視線追跡法は、スパース点光源の反射や、取得した視線画像の2D特徴を画像ベースで活用する。 我々はPyTorch3Dに基づいて、画面照明下で仮想視線をシミュレートする微分可能なパイプラインを開発する。 一般的に,本手法は特定のパターンレンダリングを必要としないため,メインのVR/AR/MR画面自体の通常のビデオフレームで動作する。
  論文  参考訳（メタデータ） (2023-03-09T02:41:13Z)
• Neural Reflectance for Shape Recovery with Shadow Handling [88.67603644930466]
  本論文は,非ランベルト的かつ空間的に変化する表面材料を用いて,シーンの形状を復元することを目的とする。 本研究では, 未知の3次元形状と未知の面点の両方をパラメータ化するために, 座標に基づく深部反射率(多層パーセプトロン)を提案する。 このネットワークは、観測された光度差と表面上の影を利用して、表面形状と一般的な非ランベルト反射率の両方を回復することができる。
  論文  参考訳（メタデータ） (2022-03-24T07:57:20Z)
• MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
  本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。 得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。 実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-26T09:21:41Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Geometry-aware data augmentation for monocular 3D object detection [18.67567745336633]
  本稿では,自動運転システムにおける必須モジュールの一つであるモノキュラー3次元物体検出について述べる。 重要な課題は、深さ回復問題は単眼データに不備があることです。 我々は,既存の手法が,異なる幾何学的シフトが発生した場合の深さをロバストに推定できないことを明らかにするために,詳細な解析を行う。 上記の操作を,対応する4つの3D対応データ拡張手法に変換する。
  論文  参考訳（メタデータ） (2021-04-12T23:12:48Z)
• D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry [57.5549733585324]
  D3VOは、深度、ポーズ、不確実性推定という3つのレベルでディープネットワークを利用する、単眼の視覚計測のための新しいフレームワークである。 まず,ステレオビデオを用いた自己監督型単眼深度推定ネットワークを提案する。 入力画像上の画素の光度不確かさをモデル化し、深度推定精度を向上させる。
  論文  参考訳（メタデータ） (2020-03-02T17:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。