論文の概要: DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery
- arxiv url: http://arxiv.org/abs/2311.07235v1
- Date: Mon, 13 Nov 2023 10:55:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 14:52:40.833608
- Title: DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery
- Title（参考訳）: deepmetriceye:periocular vr画像における距離深度推定
- Authors: Yitong Sun, Zijian Zhou, Cyriel Diels, Ali Asadipour
- Abstract要約: 本稿では,U-Net 3+のディープラーニングバックボーンをベースとした軽量なフレームワークを提案する。
本手法は,3次元眼球周囲領域を再構成し,関連する光刺激計算プロトコルと医療ガイドラインの計量基準を提供する。
被験者36名を対象に, 眼球全球精度評価実験, 瞳孔径測定において有意な有効性を示した。
- 参考スコア（独自算出の注目度）: 4.940128337433944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the enhanced realism and immersion provided by VR headsets, users
frequently encounter adverse effects such as digital eye strain (DES), dry eye,
and potential long-term visual impairment due to excessive eye stimulation from
VR displays and pressure from the mask. Recent VR headsets are increasingly
equipped with eye-oriented monocular cameras to segment ocular feature maps.
Yet, to compute the incident light stimulus and observe periocular condition
alterations, it is imperative to transform these relative measurements into
metric dimensions. To bridge this gap, we propose a lightweight framework
derived from the U-Net 3+ deep learning backbone that we re-optimised, to
estimate measurable periocular depth maps. Compatible with any VR headset
equipped with an eye-oriented monocular camera, our method reconstructs
three-dimensional periocular regions, providing a metric basis for related
light stimulus calculation protocols and medical guidelines. Navigating the
complexities of data collection, we introduce a Dynamic Periocular Data
Generation (DPDG) environment based on UE MetaHuman, which synthesises
thousands of training images from a small quantity of human facial scan data.
Evaluated on a sample of 36 participants, our method exhibited notable efficacy
in the periocular global precision evaluation experiment, and the pupil
diameter measurement.
- Abstract（参考訳）: VRヘッドセットによるリアリズムと没入性の向上にもかかわらず、ユーザはしばしば、VRディスプレイからの過剰な目刺激とマスクからの圧力により、デジタルアイストレイン(DES)、ドライアイ、および潜在的長期視覚障害などの副作用に遭遇する。
最近のVRヘッドセットは、視線の特徴マップを分割する単眼カメラをますます装備している。
しかし、入射光刺激を計算し、眼周囲の条件変化を観察するためには、これらの相対測定を計量次元に変換することが不可欠である。
このギャップを埋めるため、我々はU-Net 3+の深層学習バックボーンから派生した軽量なフレームワークを提案し、計測可能な眼深度マップを推定した。
眼用単眼カメラを装着したvrヘッドセットと互換性があり、3次元の眼窩領域を再構成し、関連する光刺激計算プロトコルと医療ガイドラインのためのメトリックベースを提供する。
データ収集の複雑さをナビゲートし、UE MetaHumanに基づく動的眼周データ生成(DPDG)環境を導入し、少量の人間の顔スキャンデータから数千のトレーニング画像を合成する。
被験者36名を対象に評価を行い, 瞳孔径測定, 眼窩大域的精度評価実験において有意な有効性を示した。
関連論文リスト
- Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling [42.70053750500301]
本稿では,幾何学的モデリングによる深度推定のための単眼画像のみを用いた新しいスケールアウェアフレームワークを提案する。
具体的には、まず、単分子深度推定の品質を高めるための多分解能深度融合戦略を提案する。
スケール係数と相対深度推定を結合することにより、単眼内視鏡シーンのスケール認識深度を推定できる。
論文 参考訳（メタデータ） (2024-08-14T03:18:04Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳（メタデータ） (2024-04-20T18:06:26Z) - Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry [13.297188931807586]
単発位相計測-デフレクトメトリー(PMD)を用いた視線方向の高精度かつ高速な評価法を提案する。
本手法は,1枚のカメラフレーム(単一ショット)内でのみ,角膜および頭蓋骨の高密度な3次元表面情報を取得する。
実写モデル眼における視線誤差を0.12円以下で実験的に評価し,本手法の有効性を示した。
論文 参考訳（メタデータ） (2023-08-14T17:36:39Z) - Optimization-Based Eye Tracking using Deflectometric Information [14.010352335803873]
最先端の視線追跡法は、スパース点光源の反射や、取得した視線画像の2D特徴を画像ベースで活用する。
我々はPyTorch3Dに基づいて、画面照明下で仮想視線をシミュレートする微分可能なパイプラインを開発する。
一般的に,本手法は特定のパターンレンダリングを必要としないため,メインのVR/AR/MR画面自体の通常のビデオフレームで動作する。
論文 参考訳（メタデータ） (2023-03-09T02:41:13Z) - A Deep Learning Approach for the Segmentation of Electroencephalography
Data in Eye Tracking Applications [56.458448869572294]
脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。
エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。
我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
論文 参考訳（メタデータ） (2022-06-17T10:17:24Z) - Depth Estimation Matters Most: Improving Per-Object Depth Estimation for
Monocular 3D Detection and Tracking [47.59619420444781]
検出・追跡を含む単眼的3D知覚へのアプローチは、LiDARベースの手法と比較して性能が劣ることが多い。
本稿では,オブジェクト(トラックレット)の複数のフレームに異なる表現(RGBと擬似LiDAR)と時間情報を組み合わせた多層融合手法を提案する。
論文 参考訳（メタデータ） (2022-06-08T03:37:59Z) - 3D endoscopic depth estimation using 3D surface-aware constraints [16.161276518580262]
深度推定は3次元表面から行うことができることを示す。
本研究では,表面認識制約を統合した深度推定のための損失関数を提案する。
カメラパラメータは、深さ推定の制御と透明性を高めるために、トレーニングパイプラインに組み込まれる。
論文 参考訳（メタデータ） (2022-03-04T04:47:20Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z) - Single View Metrology in the Wild [94.7005246862618]
本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。
本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。
いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
論文 参考訳（メタデータ） (2020-07-18T22:31:33Z) - D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual
Odometry [57.5549733585324]
D3VOは、深度、ポーズ、不確実性推定という3つのレベルでディープネットワークを利用する、単眼の視覚計測のための新しいフレームワークである。
まず,ステレオビデオを用いた自己監督型単眼深度推定ネットワークを提案する。
入力画像上の画素の光度不確かさをモデル化し、深度推定精度を向上させる。
論文 参考訳（メタデータ） (2020-03-02T17:47:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。