論文の概要: Optimization-Based Eye Tracking using Deflectometric Information
- arxiv url: http://arxiv.org/abs/2303.04997v1
- Date: Thu, 9 Mar 2023 02:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 16:22:07.942731
- Title: Optimization-Based Eye Tracking using Deflectometric Information
- Title(参考訳): ディフレクトロメトリ情報を用いた最適眼球追跡
- Authors: Tianfu Wang, Jiazhang Wang, Oliver Cossairt, Florian Willomitzer
- Abstract要約: 最先端の視線追跡法は、スパース点光源の反射や、取得した視線画像の2D特徴を画像ベースで活用する。
我々はPyTorch3Dに基づいて、画面照明下で仮想視線をシミュレートする微分可能なパイプラインを開発する。
一般的に,本手法は特定のパターンレンダリングを必要としないため,メインのVR/AR/MR画面自体の通常のビデオフレームで動作する。
- 参考スコア(独自算出の注目度): 14.010352335803873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Eye tracking is an important tool with a wide range of applications in
Virtual, Augmented, and Mixed Reality (VR/AR/MR) technologies. State-of-the-art
eye tracking methods are either reflection-based and track reflections of
sparse point light sources, or image-based and exploit 2D features of the
acquired eye image. In this work, we attempt to significantly improve
reflection-based methods by utilizing pixel-dense deflectometric surface
measurements in combination with optimization-based inverse rendering
algorithms. Utilizing the known geometry of our deflectometric setup, we
develop a differentiable rendering pipeline based on PyTorch3D that simulates a
virtual eye under screen illumination. Eventually, we exploit the
image-screen-correspondence information from the captured measurements to find
the eye's rotation, translation, and shape parameters with our renderer via
gradient descent. In general, our method does not require a specific pattern
and can work with ordinary video frames of the main VR/AR/MR screen itself. We
demonstrate real-world experiments with evaluated mean relative gaze errors
below 0.45 degrees at a precision better than 0.11 degrees. Moreover, we show
an improvement of 6X over a representative reflection-based state-of-the-art
method in simulation.
- Abstract(参考訳): アイトラッキングは、Virtual、Augmented、Mixed Reality(VR/AR/MR)技術における幅広いアプリケーションを持つ重要なツールである。
最先端のアイトラッキング手法は、スパース点光源の反射ベースとトラックリフレクション、または画像ベースで取得したアイイメージの2d特徴を利用する。
本研究では, 画素密度の回折表面測定と, 最適化に基づく逆レンダリングアルゴリズムを組み合わせることで, 反射法を著しく改善することを試みる。
偏光度設定の既知の形状を利用して、スクリーン照明下の仮想眼をシミュレートするpytorch3dに基づく微分可能なレンダリングパイプラインを開発した。
最終的に、撮影した測定値からの画像画面対応情報を利用して、勾配降下によるレンダラーによる眼球の回転、翻訳、形状パラメータを見つける。
一般的に,本手法は特定のパターンを必要とせず,メインのVR/AR/MR画面の通常のビデオフレームで動作する。
平均相対視線誤差が0.45度以下で0.11度以下の精度で評価された実世界実験を実演する。
さらに、シミュレーションにおいて、代表反射に基づく最先端手法よりも6Xの改善を示す。
関連論文リスト
- Accurate Eye Tracking from Dense 3D Surface Reconstructions using
Single-Shot Deflectometry [14.26583534657278]
単発位相計測-デフレクトメトリー(PMD)を用いた視線方向の高精度かつ高速な評価法を提案する。
本手法は,1枚のカメラフレーム(単一ショット)内でのみ,角膜および頭蓋骨の高密度な3次元表面情報を取得する。
論文 参考訳(メタデータ) (2023-08-14T17:36:39Z) - Close-up View synthesis by Interpolating Optical Flow [17.800430382213428]
仮想視点は、深度情報や不明瞭なカメラパラメータが欠如していることから、仮想ナビゲーションにおける新しい技術として認識されている。
我々は,光学フローの比例による仮想視点を得るための双方向光フロー法を開発した。
光学フロー値の創発的な応用により、任意の角にレンズを張ることで、鮮明で視覚的忠実度が向上する。
論文 参考訳(メタデータ) (2023-07-12T04:40:00Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - Shape and Reflectance Reconstruction in Uncontrolled Environments by
Differentiable Rendering [27.41344744849205]
従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。
また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-25T14:09:10Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - Physics-based Differentiable Depth Sensor Simulation [5.134435281973137]
リアルな2.5Dスキャンを生成するための新しいエンドツーエンドの微分可能なシミュレーションパイプラインを紹介します。
各モジュールはw.r.tセンサーとシーンパラメータを区別できる。
シミュレーションにより,実スキャンで得られたモデルの性能が大幅に向上する。
論文 参考訳(メタデータ) (2021-03-30T17:59:43Z) - Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian
Photometric Stereo [61.6260594326246]
空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。
分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
論文 参考訳(メタデータ) (2021-03-22T18:06:58Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。