論文の概要: Appearance-based Gaze Estimation With Deep Learning: A Review and
Benchmark
- arxiv url: http://arxiv.org/abs/2104.12668v1
- Date: Mon, 26 Apr 2021 15:53:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 14:31:49.626017
- Title: Appearance-based Gaze Estimation With Deep Learning: A Review and
Benchmark
- Title（参考訳）: ディープラーニングによる外見に基づく視線推定: レビューとベンチマーク
- Authors: Yihua Cheng, Haofei Wang, Yiwei Bao and Feng Lu
- Abstract要約: 本稿では,深層学習による外観に基づく視線推定手法の総合的検討について述べる。
様々な視線推定手法の性能を正確に比較するため,全公用視線推定データセットを特徴付ける。
本論文は,深層学習に基づく視線推定手法開発への参考となるだけでなく,将来の視線推定研究の指針となる。
- 参考スコア（独自算出の注目度）: 10.745148379100796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaze estimation reveals where a person is looking. It is an important clue
for understanding human intention. The recent development of deep learning has
revolutionized many computer vision tasks, the appearance-based gaze estimation
is no exception. However, it lacks a guideline for designing deep learning
algorithms for gaze estimation tasks. In this paper, we present a comprehensive
review of the appearance-based gaze estimation methods with deep learning. We
summarize the processing pipeline and discuss these methods from four
perspectives: deep feature extraction, deep neural network architecture design,
personal calibration as well as device and platform. Since the data
pre-processing and post-processing methods are crucial for gaze estimation, we
also survey face/eye detection method, data rectification method, 2D/3D gaze
conversion method, and gaze origin conversion method. To fairly compare the
performance of various gaze estimation approaches, we characterize all the
publicly available gaze estimation datasets and collect the code of typical
gaze estimation algorithms. We implement these codes and set up a benchmark of
converting the results of different methods into the same evaluation metrics.
This paper not only serves as a reference to develop deep learning-based gaze
estimation methods but also a guideline for future gaze estimation research.
Implemented methods and data processing codes are available at
http://phi-ai.org/GazeHub.
- Abstract（参考訳）: 視線推定は、人が見ている場所を明らかにする。
それは人間の意図を理解するための重要な手がかりである。
近年のディープラーニングの発展は多くのコンピュータビジョンタスクに革命をもたらしたが、外観に基づく視線推定は例外ではない。
しかし、視線推定タスクのためのディープラーニングアルゴリズムを設計するためのガイドラインが欠けている。
本稿では,ディープラーニングを用いた外見に基づく視線推定手法の総合的なレビューを行う。
本稿では,処理パイプラインを要約し,これらの手法について,深い特徴抽出,ディープニューラルネットワークアーキテクチャ設計,パーソナルキャリブレーション,デバイスとプラットフォームという4つの視点から考察する。
データ前処理と後処理は視線推定に不可欠であるため,顔・目の検出方法,データ修正方法,2D/3D視線変換法,視線原点変換法も検討する。
様々な視線推定手法の性能を十分に比較するために,公開されている視線推定データセットをすべて特徴付け,典型的な視線推定アルゴリズムのコードを収集する。
これらのコードを実装し、異なるメソッドの結果を同じ評価指標に変換するベンチマークを設定します。
本論文は,深層学習に基づく視線推定手法開発への参考となるだけでなく,将来の視線推定研究の指針となる。
実装されたメソッドとデータ処理コードはhttp://phi-ai.org/GazeHub.orgで公開されている。
関連論文リスト
- TPP-Gaze: Modelling Gaze Dynamics in Space and Time with Neural Temporal Point Processes [63.95928298690001]
ニューラル・テンポラル・ポイント・プロセス(TPP)に基づく新規かつ原則化されたスキャンパスダイナミクスのアプローチであるTPP-Gazeを提案する。
提案手法は,最先端手法と比較して総合的に優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-30T19:22:38Z) - Diffusion-Refined VQA Annotations for Semi-Supervised Gaze Following [74.30960564603917]
訓練用視線モデルには、人間のアノテータによって注釈付けされた視線目標座標を持つ多数の画像が必要である。
タスクに2つの新しい前処理を導入することで、視線追跡のための最初の半教師付き手法を提案する。
提案手法は,GazeFollow画像データセットに基づく単純な擬似アノテーション生成ベースラインよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T20:43:26Z) - Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking [61.44701715285463]
本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。
我々は、現在の状態からいくつかの事前登録されたアンカー状態に移行する状態の定量化として、視線推定を再構成する。
大規模視線推定ネットワークを直接学習する代わりに,地域の専門家グループと学生ネットワークを連携させることにより,一般化能力の向上を図る。
論文 参考訳（メタデータ） (2024-03-31T03:30:37Z) - 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from
Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。
視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。
本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文 参考訳（メタデータ） (2022-12-06T14:15:17Z) - LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic
Latent Code Manipulation [0.0]
本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。
GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
論文 参考訳（メタデータ） (2022-09-21T08:05:53Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
論文 参考訳（メタデータ） (2022-08-24T14:59:28Z) - Eye Gaze Estimation Model Analysis [2.4366811507669124]
本稿では、視線推定のための様々なモデルタイプについて論じ、非拘束環境における目印を用いた視線方向の予測結果を示す。
制約のない実世界の環境では、照明変更やその他の視覚的アーティファクトなどの要因により、最近の外観ベースの手法により、機能ベースの手法とモデルベースの手法が優れています。
論文 参考訳（メタデータ） (2022-07-28T20:40:03Z) - GazeOnce: Real-Time Multi-Person Gaze Estimation [18.16091280655655]
外観に基づく視線推定は、単一の画像から3次元視線方向を予測することを目的としている。
近年の深層学習に基づくアプローチは優れた性能を示すが,複数対人視線をリアルタイムに出力することはできない。
画像中の複数の顔に対する視線方向を同時に予測できるGazeOnceを提案する。
論文 参考訳（メタデータ） (2022-04-20T14:21:47Z) - Effect Of Personalized Calibration On Gaze Estimation Using
Deep-Learning [10.815594142396497]
我々は畳み込みニューラルネットワークを訓練し、その性能を校正なしで分析する。
この評価は、野生での視線推定において、Deep Learningモデルの性能をキャリブレーションがいかに改善したかを明確にする。
論文 参考訳（メタデータ） (2021-09-27T05:14:12Z) - Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。
双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。
本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
論文 参考訳（メタデータ） (2021-07-29T16:30:33Z) - 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。
このモデルは、クリアアイパッチを抽出する必要がない。
モデルを拡張して、360度視線推定の課題に対処する。
論文 参考訳（メタデータ） (2020-09-15T08:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。