論文の概要: Appearance-based Gaze Estimation With Deep Learning: A Review and Benchmark
- arxiv url: http://arxiv.org/abs/2104.12668v2
- Date: Wed, 24 Apr 2024 16:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-28 14:58:07.013293
- Title: Appearance-based Gaze Estimation With Deep Learning: A Review and Benchmark
- Title（参考訳）: ディープラーニングによる外見に基づく視線推定: レビューとベンチマーク
- Authors: Yihua Cheng, Haofei Wang, Yiwei Bao, Feng Lu,
- Abstract要約: 本稿では,ディープラーニングを用いた外見に基づく視線推定手法の体系的レビューを行う。
顔/目の検出,データ修正,2D/3D視線変換,視線原点変換など,データ前処理と後処理の方法を要約する。
- 参考スコア（独自算出の注目度）: 14.306488668615883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human gaze provides valuable information on human focus and intentions, making it a crucial area of research. Recently, deep learning has revolutionized appearance-based gaze estimation. However, due to the unique features of gaze estimation research, such as the unfair comparison between 2D gaze positions and 3D gaze vectors and the different pre-processing and post-processing methods, there is a lack of a definitive guideline for developing deep learning-based gaze estimation algorithms. In this paper, we present a systematic review of the appearance-based gaze estimation methods using deep learning. Firstly, we survey the existing gaze estimation algorithms along the typical gaze estimation pipeline: deep feature extraction, deep learning model design, personal calibration and platforms. Secondly, to fairly compare the performance of different approaches, we summarize the data pre-processing and post-processing methods, including face/eye detection, data rectification, 2D/3D gaze conversion and gaze origin conversion. Finally, we set up a comprehensive benchmark for deep learning-based gaze estimation. We characterize all the public datasets and provide the source code of typical gaze estimation algorithms. This paper serves not only as a reference to develop deep learning-based gaze estimation methods, but also a guideline for future gaze estimation research. The project web page can be found at https://phi-ai.buaa.edu.cn/Gazehub.
- Abstract（参考訳）: 人間の視線は人間の焦点や意図に関する貴重な情報を提供しており、重要な研究領域となっている。
近年,深層学習は外見に基づく視線推定に革命をもたらした。
しかし、2次元視線位置と3次元視線ベクトルの不公平な比較や、異なる前処理と後処理の方法など、視線推定研究の独特な特徴から、深層学習に基づく視線推定アルゴリズムを開発するための決定的なガイドラインが欠如している。
本稿では,ディープラーニングを用いた外見に基づく視線推定手法の体系的レビューを行う。
まず,従来の視線推定アルゴリズムを,深い特徴抽出,深層学習モデル設計,個人キャリブレーション,プラットフォームなど,典型的な視線推定パイプラインに沿って調査する。
次に, 顔・目検出, データ修正, 2D/3D視線変換, 視線原点変換などのデータ前処理と後処理の手法を概説する。
最後に、深層学習に基づく視線推定のための総合的なベンチマークを設定した。
我々は、すべての公開データセットを特徴付け、典型的な視線推定アルゴリズムのソースコードを提供する。
本稿では,深層学習に基づく視線推定手法の開発への参考となるだけでなく,将来の視線推定研究の指針となる。
プロジェクトのWebページはhttps://phi-ai.buaa.edu.cn/Gazehub.orgにある。
関連論文リスト
- TPP-Gaze: Modelling Gaze Dynamics in Space and Time with Neural Temporal Point Processes [63.95928298690001]
ニューラル・テンポラル・ポイント・プロセス(TPP)に基づく新規かつ原則化されたスキャンパスダイナミクスのアプローチであるTPP-Gazeを提案する。
提案手法は,最先端手法と比較して総合的に優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-30T19:22:38Z) - Diffusion-Refined VQA Annotations for Semi-Supervised Gaze Following [74.30960564603917]
訓練用視線モデルには、人間のアノテータによって注釈付けされた視線目標座標を持つ多数の画像が必要である。
タスクに2つの新しい前処理を導入することで、視線追跡のための最初の半教師付き手法を提案する。
提案手法は,GazeFollow画像データセットに基づく単純な擬似アノテーション生成ベースラインよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T20:43:26Z) - Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking [61.44701715285463]
本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。
我々は、現在の状態からいくつかの事前登録されたアンカー状態に移行する状態の定量化として、視線推定を再構成する。
大規模視線推定ネットワークを直接学習する代わりに,地域の専門家グループと学生ネットワークを連携させることにより,一般化能力の向上を図る。
論文 参考訳（メタデータ） (2024-03-31T03:30:37Z) - 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from
Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。
視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。
本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文 参考訳（メタデータ） (2022-12-06T14:15:17Z) - LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic
Latent Code Manipulation [0.0]
本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。
GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
論文 参考訳（メタデータ） (2022-09-21T08:05:53Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
論文 参考訳（メタデータ） (2022-08-24T14:59:28Z) - Eye Gaze Estimation Model Analysis [2.4366811507669124]
本稿では、視線推定のための様々なモデルタイプについて論じ、非拘束環境における目印を用いた視線方向の予測結果を示す。
制約のない実世界の環境では、照明変更やその他の視覚的アーティファクトなどの要因により、最近の外観ベースの手法により、機能ベースの手法とモデルベースの手法が優れています。
論文 参考訳（メタデータ） (2022-07-28T20:40:03Z) - GazeOnce: Real-Time Multi-Person Gaze Estimation [18.16091280655655]
外観に基づく視線推定は、単一の画像から3次元視線方向を予測することを目的としている。
近年の深層学習に基づくアプローチは優れた性能を示すが,複数対人視線をリアルタイムに出力することはできない。
画像中の複数の顔に対する視線方向を同時に予測できるGazeOnceを提案する。
論文 参考訳（メタデータ） (2022-04-20T14:21:47Z) - Effect Of Personalized Calibration On Gaze Estimation Using
Deep-Learning [10.815594142396497]
我々は畳み込みニューラルネットワークを訓練し、その性能を校正なしで分析する。
この評価は、野生での視線推定において、Deep Learningモデルの性能をキャリブレーションがいかに改善したかを明確にする。
論文 参考訳（メタデータ） (2021-09-27T05:14:12Z) - Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。
双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。
本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
論文 参考訳（メタデータ） (2021-07-29T16:30:33Z) - 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。
このモデルは、クリアアイパッチを抽出する必要がない。
モデルを拡張して、360度視線推定の課題に対処する。
論文 参考訳（メタデータ） (2020-09-15T08:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。