論文の概要: EFE: End-to-end Frame-to-Gaze Estimation

• arxiv url: http://arxiv.org/abs/2305.05526v1
• Date: Tue, 9 May 2023 15:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:21:05.720350
• Title: EFE: End-to-end Frame-to-Gaze Estimation
• Title（参考訳）: EFE: エンドツーエンドのフレーム・ツー・ゲイズ推定
• Authors: Haldun Balim, Seonwook Park, Xi Wang, Xucong Zhang, Otmar Hilliges
• Abstract要約: 本研究では,3次元視線の起源と3次元視線方向の両方を直接予測するフレーム・ツー・ゲイズ・ネットワークを提案する。 FHD/HDからVGA/HVGA分解能まで、眼球領域にピクセルがほとんどないにもかかわらず、生のダウンスケールフレームからの直接の視線回帰が可能であることを示す。
• 参考スコア（独自算出の注目度）: 42.61379693370926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent development of learning-based gaze estimation methods, most methods require one or more eye or face region crops as inputs and produce a gaze direction vector as output. Cropping results in a higher resolution in the eye regions and having fewer confounding factors (such as clothing and hair) is believed to benefit the final model performance. However, this eye/face patch cropping process is expensive, erroneous, and implementation-specific for different methods. In this paper, we propose a frame-to-gaze network that directly predicts both 3D gaze origin and 3D gaze direction from the raw frame out of the camera without any face or eye cropping. Our method demonstrates that direct gaze regression from the raw downscaled frame, from FHD/HD to VGA/HVGA resolution, is possible despite the challenges of having very few pixels in the eye region. The proposed method achieves comparable results to state-of-the-art methods in Point-of-Gaze (PoG) estimation on three public gaze datasets: GazeCapture, MPIIFaceGaze, and EVE, and generalizes well to extreme camera view changes.
• Abstract（参考訳）: 近年の学習に基づく視線推定手法の進歩にもかかわらず、ほとんどの方法は1つ以上の目または顔領域作物を入力として、視線ベクトルを出力として生成する。 その結果, 目領域の分解能は高く, 衣服や毛髪などの共生因子も少なく, 最終モデルの性能向上に寄与することが示唆された。 しかし、このアイ/フェイスパッチのトリッピングプロセスは高価で誤ったものであり、異なる方法に特有の実装である。 本稿では、顔や目を切り刻むことなく、カメラの生のフレームから3dの視線と3dの視線方向の両方を直接予測するフレーム・ツー・ガゼネットワークを提案する。 FHD/HDからVGA/HVGA分解能まで、眼球領域にピクセルがほとんどないにもかかわらず、生のダウンスケールフレームからの直接の視線回帰が可能であることを示す。 提案手法は,gazecapture,mpiifacegaze,eveの3つのパブリックアイズデータセットにおけるpos(point-of-gaze)推定における最先端手法と同等の結果が得られる。

関連論文リスト

• GazeGaussian: High-Fidelity Gaze Redirection with 3D Gaussian Splatting [15.509324745484141]
  本稿では,2ストリーム3DGSモデルを用いて顔領域と眼領域を別々に表現する高忠実な視線リダイレクト手法であるGazeGaussianを提案する。 GazeGaussianは、レンダリング速度、視線リダイレクト精度、複数のデータセット間での顔合成において、既存の方法よりも優れています。
  論文  参考訳（メタデータ） (2024-11-20T02:15:23Z)
• Model-aware 3D Eye Gaze from Weak and Few-shot Supervisions [60.360919642038]
  本稿では,眼意味分類マスクの弱い監督と数個の3次元視線ベクトルの直接監督から3次元視線を予測することを提案する。 多様な環境下での実験では,提案手法の利点が示され,ベースラインの角度誤差が約5度低くなった。
  論文  参考訳（メタデータ） (2023-11-20T20:22:55Z)
• Accurate Gaze Estimation using an Active-gaze Morphable Model [9.192482716410511]
  画像から直接視線方向を後退させるのではなく、3次元形状モデルを追加することで視線推定精度が向上することを示す。 我々はこれを幾何学的頂点モデルに当てはめ、アクティブ・ゲイズ3DMMを与える。 本手法は,地上の真理視原点にアクセスすることなく,地上の真理視原点とカメラパラメータのみを用いて学習することができる。
  論文  参考訳（メタデータ） (2023-01-30T18:51:14Z)
• NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation [37.977032771941715]
  本稿では,ニューラルラジアンス場に基づく新しい頭部方向パラメトリックモデルを提案する。 我々のモデルは、顔と目を切り離して、別々のニューラルレンダリングを行うことができる。 顔、アイデンティティ、照明、視線方向の属性を別々に制御する目的を達成することができる。
  論文  参考訳（メタデータ） (2022-12-30T13:52:28Z)
• GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields [100.53114092627577]
  既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。 顔領域と眼球は3次元構造であり、協調しているが独立して動くという直感に基づいて構築する。
  論文  参考訳（メタデータ） (2022-12-08T13:19:11Z)
• 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views [67.00931529296788]
  本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。 視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。 本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-06T14:15:17Z)
• Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
  本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。 提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
  論文  参考訳（メタデータ） (2022-08-24T14:59:28Z)
• GazeOnce: Real-Time Multi-Person Gaze Estimation [18.16091280655655]
  外観に基づく視線推定は、単一の画像から3次元視線方向を予測することを目的としている。 近年の深層学習に基づくアプローチは優れた性能を示すが,複数対人視線をリアルタイムに出力することはできない。 画像中の複数の顔に対する視線方向を同時に予測できるGazeOnceを提案する。
  論文  参考訳（メタデータ） (2022-04-20T14:21:47Z)
• 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
  焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。 このモデルは、クリアアイパッチを抽出する必要がない。 モデルを拡張して、360度視線推定の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-15T08:45:12Z)
• It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation [82.16380486281108]
  顔の全体像のみを入力とする外観に基づく手法を提案する。 本手法は,特徴写像に空間重みを印加した畳み込みニューラルネットワークを用いて顔画像の符号化を行う。 本手法は2次元視線と3次元視線の両方で技量を有意に上回ることを示す。
  論文  参考訳（メタデータ） (2016-11-27T15:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。