論文の概要: DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery
- arxiv url: http://arxiv.org/abs/2311.07235v1
- Date: Mon, 13 Nov 2023 10:55:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 14:52:40.833608
- Title: DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery
- Title(参考訳): deepmetriceye:periocular vr画像における距離深度推定
- Authors: Yitong Sun, Zijian Zhou, Cyriel Diels, Ali Asadipour
- Abstract要約: 本稿では,U-Net 3+のディープラーニングバックボーンをベースとした軽量なフレームワークを提案する。
本手法は,3次元眼球周囲領域を再構成し,関連する光刺激計算プロトコルと医療ガイドラインの計量基準を提供する。
被験者36名を対象に, 眼球全球精度評価実験, 瞳孔径測定において有意な有効性を示した。
- 参考スコア(独自算出の注目度): 4.940128337433944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the enhanced realism and immersion provided by VR headsets, users
frequently encounter adverse effects such as digital eye strain (DES), dry eye,
and potential long-term visual impairment due to excessive eye stimulation from
VR displays and pressure from the mask. Recent VR headsets are increasingly
equipped with eye-oriented monocular cameras to segment ocular feature maps.
Yet, to compute the incident light stimulus and observe periocular condition
alterations, it is imperative to transform these relative measurements into
metric dimensions. To bridge this gap, we propose a lightweight framework
derived from the U-Net 3+ deep learning backbone that we re-optimised, to
estimate measurable periocular depth maps. Compatible with any VR headset
equipped with an eye-oriented monocular camera, our method reconstructs
three-dimensional periocular regions, providing a metric basis for related
light stimulus calculation protocols and medical guidelines. Navigating the
complexities of data collection, we introduce a Dynamic Periocular Data
Generation (DPDG) environment based on UE MetaHuman, which synthesises
thousands of training images from a small quantity of human facial scan data.
Evaluated on a sample of 36 participants, our method exhibited notable efficacy
in the periocular global precision evaluation experiment, and the pupil
diameter measurement.
- Abstract(参考訳): VRヘッドセットによるリアリズムと没入性の向上にもかかわらず、ユーザはしばしば、VRディスプレイからの過剰な目刺激とマスクからの圧力により、デジタルアイストレイン(DES)、ドライアイ、および潜在的長期視覚障害などの副作用に遭遇する。
最近のVRヘッドセットは、視線の特徴マップを分割する単眼カメラをますます装備している。
しかし、入射光刺激を計算し、眼周囲の条件変化を観察するためには、これらの相対測定を計量次元に変換することが不可欠である。
このギャップを埋めるため、我々はU-Net 3+の深層学習バックボーンから派生した軽量なフレームワークを提案し、計測可能な眼深度マップを推定した。
眼用単眼カメラを装着したvrヘッドセットと互換性があり、3次元の眼窩領域を再構成し、関連する光刺激計算プロトコルと医療ガイドラインのためのメトリックベースを提供する。
データ収集の複雑さをナビゲートし、UE MetaHumanに基づく動的眼周データ生成(DPDG)環境を導入し、少量の人間の顔スキャンデータから数千のトレーニング画像を合成する。
被験者36名を対象に評価を行い, 瞳孔径測定, 眼窩大域的精度評価実験において有意な有効性を示した。
関連論文リスト
- Dense 3D Reconstruction Through Lidar: A Comparative Study on Ex-vivo
Porcine Tissue [16.786601606755013]
研究者たちは、視覚に基づく手術支援のための深度検知と3D再構成を積極的に研究している。
腹腔鏡下手術では, リアルタイム, 正確, 堅牢な3次元表示が困難である。
この研究は、3Dレーザーによる飛行時間センサーが解剖学的表面の再構成を行うことができる品質を徹底的に特徴付けるために、生き残ったブタの組織を定量的に検査する。
論文 参考訳(メタデータ) (2024-01-19T14:14:26Z) - Accurate Eye Tracking from Dense 3D Surface Reconstructions using
Single-Shot Deflectometry [14.26583534657278]
単発位相計測-デフレクトメトリー(PMD)を用いた視線方向の高精度かつ高速な評価法を提案する。
本手法は,1枚のカメラフレーム(単一ショット)内でのみ,角膜および頭蓋骨の高密度な3次元表面情報を取得する。
論文 参考訳(メタデータ) (2023-08-14T17:36:39Z) - Optimization-Based Eye Tracking using Deflectometric Information [14.010352335803873]
最先端の視線追跡法は、スパース点光源の反射や、取得した視線画像の2D特徴を画像ベースで活用する。
我々はPyTorch3Dに基づいて、画面照明下で仮想視線をシミュレートする微分可能なパイプラインを開発する。
一般的に,本手法は特定のパターンレンダリングを必要としないため,メインのVR/AR/MR画面自体の通常のビデオフレームで動作する。
論文 参考訳(メタデータ) (2023-03-09T02:41:13Z) - A Deep Learning Approach for the Segmentation of Electroencephalography
Data in Eye Tracking Applications [56.458448869572294]
脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。
エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。
我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
論文 参考訳(メタデータ) (2022-06-17T10:17:24Z) - Depth Estimation Matters Most: Improving Per-Object Depth Estimation for
Monocular 3D Detection and Tracking [47.59619420444781]
検出・追跡を含む単眼的3D知覚へのアプローチは、LiDARベースの手法と比較して性能が劣ることが多い。
本稿では,オブジェクト(トラックレット)の複数のフレームに異なる表現(RGBと擬似LiDAR)と時間情報を組み合わせた多層融合手法を提案する。
論文 参考訳(メタデータ) (2022-06-08T03:37:59Z) - 3D endoscopic depth estimation using 3D surface-aware constraints [16.161276518580262]
深度推定は3次元表面から行うことができることを示す。
本研究では,表面認識制約を統合した深度推定のための損失関数を提案する。
カメラパラメータは、深さ推定の制御と透明性を高めるために、トレーニングパイプラインに組み込まれる。
論文 参考訳(メタデータ) (2022-03-04T04:47:20Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳(メタデータ) (2021-10-11T20:20:03Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-02T16:18:06Z) - Single View Metrology in the Wild [94.7005246862618]
本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。
本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。
いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
論文 参考訳(メタデータ) (2020-07-18T22:31:33Z) - D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual
Odometry [57.5549733585324]
D3VOは、深度、ポーズ、不確実性推定という3つのレベルでディープネットワークを利用する、単眼の視覚計測のための新しいフレームワークである。
まず,ステレオビデオを用いた自己監督型単眼深度推定ネットワークを提案する。
入力画像上の画素の光度不確かさをモデル化し、深度推定精度を向上させる。
論文 参考訳(メタデータ) (2020-03-02T17:47:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。