論文の概要: Optimization-Based Eye Tracking using Deflectometric Information

• arxiv url: http://arxiv.org/abs/2303.04997v1
• Date: Thu, 9 Mar 2023 02:41:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 16:22:07.942731
• Title: Optimization-Based Eye Tracking using Deflectometric Information
• Title（参考訳）: ディフレクトロメトリ情報を用いた最適眼球追跡
• Authors: Tianfu Wang, Jiazhang Wang, Oliver Cossairt, Florian Willomitzer
• Abstract要約: 最先端の視線追跡法は、スパース点光源の反射や、取得した視線画像の2D特徴を画像ベースで活用する。 我々はPyTorch3Dに基づいて、画面照明下で仮想視線をシミュレートする微分可能なパイプラインを開発する。 一般的に,本手法は特定のパターンレンダリングを必要としないため,メインのVR/AR/MR画面自体の通常のビデオフレームで動作する。
• 参考スコア（独自算出の注目度）: 14.010352335803873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Eye tracking is an important tool with a wide range of applications in Virtual, Augmented, and Mixed Reality (VR/AR/MR) technologies. State-of-the-art eye tracking methods are either reflection-based and track reflections of sparse point light sources, or image-based and exploit 2D features of the acquired eye image. In this work, we attempt to significantly improve reflection-based methods by utilizing pixel-dense deflectometric surface measurements in combination with optimization-based inverse rendering algorithms. Utilizing the known geometry of our deflectometric setup, we develop a differentiable rendering pipeline based on PyTorch3D that simulates a virtual eye under screen illumination. Eventually, we exploit the image-screen-correspondence information from the captured measurements to find the eye's rotation, translation, and shape parameters with our renderer via gradient descent. In general, our method does not require a specific pattern and can work with ordinary video frames of the main VR/AR/MR screen itself. We demonstrate real-world experiments with evaluated mean relative gaze errors below 0.45 degrees at a precision better than 0.11 degrees. Moreover, we show an improvement of 6X over a representative reflection-based state-of-the-art method in simulation.
• Abstract（参考訳）: アイトラッキングは、Virtual、Augmented、Mixed Reality(VR/AR/MR)技術における幅広いアプリケーションを持つ重要なツールである。 最先端のアイトラッキング手法は、スパース点光源の反射ベースとトラックリフレクション、または画像ベースで取得したアイイメージの2d特徴を利用する。 本研究では, 画素密度の回折表面測定と, 最適化に基づく逆レンダリングアルゴリズムを組み合わせることで, 反射法を著しく改善することを試みる。 偏光度設定の既知の形状を利用して、スクリーン照明下の仮想眼をシミュレートするpytorch3dに基づく微分可能なレンダリングパイプラインを開発した。 最終的に、撮影した測定値からの画像画面対応情報を利用して、勾配降下によるレンダラーによる眼球の回転、翻訳、形状パラメータを見つける。 一般的に,本手法は特定のパターンを必要とせず,メインのVR/AR/MR画面の通常のビデオフレームで動作する。 平均相対視線誤差が0.45度以下で0.11度以下の精度で評価された実世界実験を実演する。 さらに、シミュレーションにおいて、代表反射に基づく最先端手法よりも6Xの改善を示す。

関連論文リスト

• Incorporating dense metric depth into neural 3D representations for view synthesis and relighting [25.028859317188395]
  ロボット応用では、密度の深い距離の深さをステレオで直接測定することができ、照明を制御できる。 本研究は,ニューラルネットワークによる3次元表現のトレーニングに高密度な距離深度を組み込む手法を実証する。 また、パイプラインに必要なデータを取得し、リライティングとビュー合成の結果を示すために開発されたマルチフラッシュステレオカメラシステムについても論じる。
  論文  参考訳（メタデータ） (2024-09-04T20:21:13Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry [13.297188931807586]
  単発位相計測-デフレクトメトリー(PMD)を用いた視線方向の高精度かつ高速な評価法を提案する。 本手法は,1枚のカメラフレーム(単一ショット)内でのみ,角膜および頭蓋骨の高密度な3次元表面情報を取得する。 実写モデル眼における視線誤差を0.12円以下で実験的に評価し,本手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-08-14T17:36:39Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering [27.41344744849205]
  従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。 また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T14:09:10Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。