論文の概要: A Novel Unified Stereo Stimuli based Binocular Eye-Tracking System for
Accurate 3D Gaze Estimation
- arxiv url: http://arxiv.org/abs/2104.12167v1
- Date: Sun, 25 Apr 2021 14:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 06:46:12.211516
- Title: A Novel Unified Stereo Stimuli based Binocular Eye-Tracking System for
Accurate 3D Gaze Estimation
- Title(参考訳): 3次元視線推定のための新しい統合ステレオ刺激型両眼眼眼追跡システム
- Authors: Sunjing Lin, Yu Liu, Shaochu Wang, Chang Li, Han Wang
- Abstract要約: 3D立体表示システムは、ユーザーは機器を装着することなく、親しみやすく没入感のある高精細な視聴体験を提供できる。
ユーザーの視点で3D PoGを正確に特定するため、眼球運動データとステレオ刺激映像を入力として回帰ベースの3Dアイトラッキングモデルを構築します。
3D PoGの平均誤差はX軸で0.90cm、Y軸で0.83cm、Z軸で1.48cm$/0.12mであった。
- 参考スコア(独自算出の注目度): 8.730591396227453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In addition to the high cost and complex setup, the main reason for the
limitation of the three-dimensional (3D) display is the problem of accurately
estimating the user's current point-of-gaze (PoG) in a 3D space. In this paper,
we present a novel noncontact technique for the PoG estimation in a
stereoscopic environment, which integrates a 3D stereoscopic display system and
an eye-tracking system. The 3D stereoscopic display system can provide users
with a friendly and immersive high-definition viewing experience without
wearing any equipment. To accurately locate the user's 3D PoG in the field of
view, we build a regression-based 3D eye-tracking model with the eye movement
data and stereo stimulus videos as input. Besides, to train an optimal
regression model, we also design and annotate a dataset that contains 30 users'
eye-tracking data corresponding to two designed stereo test scenes.
Innovatively, this dataset introduces feature vectors between eye region
landmarks for the gaze vector estimation and a combined feature set for the
gaze depth estimation. Moreover, five traditional regression models are trained
and evaluated based on this dataset. Experimental results show that the average
errors of the 3D PoG are about 0.90~cm on the X-axis, 0.83~cm on the Y-axis,
and 1.48~cm$/$0.12~m along the Z-axis with the scene-depth range in
75~cm$/$8~m, respectively.
- Abstract(参考訳): 高いコストと複雑なセットアップに加えて、3次元の3dディスプレイの限界の主な理由は、ユーザの現在のpog(point-of-gaze)を3d空間で正確に推定することである。
本稿では,3次元立体表示システムと視線追跡システムを統合した立体環境におけるポグ推定のための新しい非接触手法を提案する。
3D立体表示システムは、ユーザーは機器を装着することなく、親しみやすく没入感のある高精細な視聴体験を提供できる。
視界におけるユーザの3D PoGを正確に特定するために,眼球運動データとステレオ刺激映像を入力として,回帰に基づく3Dアイトラッキングモデルを構築した。
さらに,最適な回帰モデルをトレーニングするために,2つのステレオテストシーンに対応する30人のユーザの視線追跡データを含むデータセットを設計・アノテートする。
このデータセットは、視線ベクトル推定のための目領域ランドマークと、視線深度推定のための複合特徴セットの間に特徴ベクトルを導入する。
さらに、5つの従来の回帰モデルをトレーニングし、このデータセットに基づいて評価する。
実験結果から,3d pogの平均誤差はx軸で約 0.90~cm,y軸で 0.83~cm,z軸に沿って 1.48~cm$/$0.12~m,シーン深度で75~cm$/8~mであった。
関連論文リスト
- NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized
Device Coordinates Space [77.6067460464962]
SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。
我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。
シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
論文 参考訳(メタデータ) (2023-09-26T02:09:52Z) - SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。
以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。
これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文 参考訳(メタデータ) (2023-08-26T07:38:21Z) - BEV-IO: Enhancing Bird's-Eye-View 3D Detection with Instance Occupancy [58.92659367605442]
我々は,BEV表現をインスタンス占有情報で拡張する新しい3次元検出パラダイムであるBEV-IOを提案する。
BEV-IOは、パラメータや計算オーバーヘッドの無視できる増加しか加えず、最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-26T11:16:12Z) - Homography Loss for Monocular 3D Object Detection [54.04870007473932]
ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。
提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
論文 参考訳(メタデータ) (2022-04-02T03:48:03Z) - Joint stereo 3D object detection and implicit surface reconstruction [29.428001314574566]
本稿では,カテゴリーレベルの3次元オブジェクト検出と暗黙的形状推定のための,野生におけるステレオRGB画像のペアに基づく学習ベースフレームワークを提案する。
従来のステレオ3Dオブジェクト検出アプローチでは、検出された物体は3D境界ボックスのみで、その全表面形状を推測することはできない。
そこで本研究では,S-3D-RCNNの高精度なローカライゼーションと,完全かつ解像度に依存しない形状記述が可能なモデルを提案する。
論文 参考訳(メタデータ) (2021-11-25T05:52:30Z) - Exploring 2D Data Augmentation for 3D Monocular Object Detection [0.2936007114555107]
多くの標準的な2Dオブジェクト検出データ拡張技術は3Dボックスに拡張されない。
本研究では, 新規な視点合成を必要とせず, 単眼3次元検出のための2つの新しい増強法を提案する。
論文 参考訳(メタデータ) (2021-04-21T22:43:42Z) - Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。
以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文 参考訳(メタデータ) (2021-04-21T00:35:32Z) - MonoGRNet: A General Framework for Monocular 3D Object Detection [23.59839921644492]
幾何学的推論によるモノクロ画像からのアモーダル3次元物体検出のためのMonoGRNetを提案する。
MonoGRNetは、モノラル3Dオブジェクト検出タスクを2Dオブジェクト検出、インスタンスレベルの深さ推定、投影された3Dセンター推定、ローカルコーナー回帰を含む4つのサブタスクに分解する。
KITTI、Cityscapes、MS COCOデータセットで実験が行われた。
論文 参考訳(メタデータ) (2021-04-18T10:07:52Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - Integration of the 3D Environment for UAV Onboard Visual Object Tracking [7.652259812856325]
無人航空機からの単一の視覚的物体追跡は、根本的な課題となる。
本研究では,モデルフリーのビジュアルオブジェクトトラッカー,スパース3D再構成,状態推定器を組み合わせたパイプラインを提案する。
画像空間ではなく3次元空間における目標位置を表現することにより,エゴモーション時のトラッキングを安定化させる。
論文 参考訳(メタデータ) (2020-08-06T18:37:29Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳(メタデータ) (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。