論文の概要: A Novel Unified Stereo Stimuli based Binocular Eye-Tracking System for
Accurate 3D Gaze Estimation
- arxiv url: http://arxiv.org/abs/2104.12167v1
- Date: Sun, 25 Apr 2021 14:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 06:46:12.211516
- Title: A Novel Unified Stereo Stimuli based Binocular Eye-Tracking System for
Accurate 3D Gaze Estimation
- Title（参考訳）: 3次元視線推定のための新しい統合ステレオ刺激型両眼眼眼追跡システム
- Authors: Sunjing Lin, Yu Liu, Shaochu Wang, Chang Li, Han Wang
- Abstract要約: 3D立体表示システムは、ユーザーは機器を装着することなく、親しみやすく没入感のある高精細な視聴体験を提供できる。
ユーザーの視点で3D PoGを正確に特定するため、眼球運動データとステレオ刺激映像を入力として回帰ベースの3Dアイトラッキングモデルを構築します。
3D PoGの平均誤差はX軸で0.90cm、Y軸で0.83cm、Z軸で1.48cm$/0.12mであった。
- 参考スコア（独自算出の注目度）: 8.730591396227453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In addition to the high cost and complex setup, the main reason for the
limitation of the three-dimensional (3D) display is the problem of accurately
estimating the user's current point-of-gaze (PoG) in a 3D space. In this paper,
we present a novel noncontact technique for the PoG estimation in a
stereoscopic environment, which integrates a 3D stereoscopic display system and
an eye-tracking system. The 3D stereoscopic display system can provide users
with a friendly and immersive high-definition viewing experience without
wearing any equipment. To accurately locate the user's 3D PoG in the field of
view, we build a regression-based 3D eye-tracking model with the eye movement
data and stereo stimulus videos as input. Besides, to train an optimal
regression model, we also design and annotate a dataset that contains 30 users'
eye-tracking data corresponding to two designed stereo test scenes.
Innovatively, this dataset introduces feature vectors between eye region
landmarks for the gaze vector estimation and a combined feature set for the
gaze depth estimation. Moreover, five traditional regression models are trained
and evaluated based on this dataset. Experimental results show that the average
errors of the 3D PoG are about 0.90~cm on the X-axis, 0.83~cm on the Y-axis,
and 1.48~cm$/$0.12~m along the Z-axis with the scene-depth range in
75~cm$/$8~m, respectively.
- Abstract（参考訳）: 高いコストと複雑なセットアップに加えて、3次元の3dディスプレイの限界の主な理由は、ユーザの現在のpog(point-of-gaze)を3d空間で正確に推定することである。
本稿では,3次元立体表示システムと視線追跡システムを統合した立体環境におけるポグ推定のための新しい非接触手法を提案する。
3D立体表示システムは、ユーザーは機器を装着することなく、親しみやすく没入感のある高精細な視聴体験を提供できる。
視界におけるユーザの3D PoGを正確に特定するために,眼球運動データとステレオ刺激映像を入力として,回帰に基づく3Dアイトラッキングモデルを構築した。
さらに,最適な回帰モデルをトレーニングするために,2つのステレオテストシーンに対応する30人のユーザの視線追跡データを含むデータセットを設計・アノテートする。
このデータセットは、視線ベクトル推定のための目領域ランドマークと、視線深度推定のための複合特徴セットの間に特徴ベクトルを導入する。
さらに、5つの従来の回帰モデルをトレーニングし、このデータセットに基づいて評価する。
実験結果から,3d pogの平均誤差はx軸で約 0.90～cm,y軸で 0.83～cm,z軸に沿って 1.48～cm$/$0.12~m,シーン深度で75～cm$/8~mであった。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳（メタデータ） (2024-03-21T06:14:46Z) - NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized
Device Coordinates Space [77.6067460464962]
SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。
我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。
シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
論文 参考訳（メタデータ） (2023-09-26T02:09:52Z) - SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。
以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。
これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文 参考訳（メタデータ） (2023-08-26T07:38:21Z) - Joint stereo 3D object detection and implicit surface reconstruction [39.30458073540617]
本稿では,SO(3)の正確なオブジェクト指向を復元し,ステレオRGB画像から暗黙的な剛性形状を同時に予測できる学習ベースのフレームワークS-3D-RCNNを提案する。
方向推定のためには、局所的な外観を観測角度にマッピングする従来の研究とは対照的に、意味のある幾何学的表現(IGR)を抽出して進歩的なアプローチを提案する。
このアプローチは、知覚強度を1つか2つのビューからオブジェクト部分座標に変換するディープモデルにより、カメラ座標系において、直接自我中心のオブジェクト指向推定を実現する。
3次元境界ボックス内におけるより詳細な記述を実現するため,ステレオ画像からの暗黙的形状推定問題について検討する。
論文 参考訳（メタデータ） (2021-11-25T05:52:30Z) - Exploring 2D Data Augmentation for 3D Monocular Object Detection [0.2936007114555107]
多くの標準的な2Dオブジェクト検出データ拡張技術は3Dボックスに拡張されない。
本研究では, 新規な視点合成を必要とせず, 単眼3次元検出のための2つの新しい増強法を提案する。
論文 参考訳（メタデータ） (2021-04-21T22:43:42Z) - MonoGRNet: A General Framework for Monocular 3D Object Detection [23.59839921644492]
幾何学的推論によるモノクロ画像からのアモーダル3次元物体検出のためのMonoGRNetを提案する。
MonoGRNetは、モノラル3Dオブジェクト検出タスクを2Dオブジェクト検出、インスタンスレベルの深さ推定、投影された3Dセンター推定、ローカルコーナー回帰を含む4つのサブタスクに分解する。
KITTI、Cityscapes、MS COCOデータセットで実験が行われた。
論文 参考訳（メタデータ） (2021-04-18T10:07:52Z) - Integration of the 3D Environment for UAV Onboard Visual Object Tracking [7.652259812856325]
無人航空機からの単一の視覚的物体追跡は、根本的な課題となる。
本研究では,モデルフリーのビジュアルオブジェクトトラッカー,スパース3D再構成,状態推定器を組み合わせたパイプラインを提案する。
画像空間ではなく3次元空間における目標位置を表現することにより,エゴモーション時のトラッキングを安定化させる。
論文 参考訳（メタデータ） (2020-08-06T18:37:29Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳（メタデータ） (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。