論文の概要: Accurate Gaze Estimation using an Active-gaze Morphable Model
- arxiv url: http://arxiv.org/abs/2301.13186v1
- Date: Mon, 30 Jan 2023 18:51:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 13:09:44.801498
- Title: Accurate Gaze Estimation using an Active-gaze Morphable Model
- Title（参考訳）: active-gaze morphable modelを用いた正確な視線推定
- Authors: Hao Sun and Nick Pears
- Abstract要約: 画像から直接視線方向を後退させるのではなく、3次元形状モデルを追加することで視線推定精度が向上することを示す。
我々はこれを幾何学的頂点モデルに当てはめ、アクティブ・ゲイズ3DMMを与える。
本手法は,地上の真理視原点にアクセスすることなく,地上の真理視原点とカメラパラメータのみを用いて学習することができる。
- 参考スコア（独自算出の注目度）: 9.192482716410511
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rather than regressing gaze direction directly from images, we show that
adding a 3D shape model can: i) improve gaze estimation accuracy, ii) perform
well with lower resolution inputs and iii) provide a richer understanding of
the eye-region and its constituent gaze system. Specifically, we use an `eyes
and nose' 3D morphable model (3DMM) to capture the eye-region 3D facial
geometry and appearance and we equip this with a geometric vergence model of
gaze to give an `active-gaze 3DMM'. We show that our approach achieves
state-of-the-art results on the Eyediap dataset and we present an ablation
study. Our method can learn with only the ground truth gaze target point and
the camera parameters, without access to the ground truth gaze origin points,
thus widening the applicability of our approach compared to other methods.
- Abstract（参考訳）: 画像から直接視線方向を後退させるのではなく、3次元形状モデルを加えると次のようになる。
一 視線推定精度を向上させること。
二 低い解像度の入力でよく行うこと
三 眼領域とその構成的視線システムに関するより豊かな理解を提供すること。
具体的には、眼と鼻の3次元形態モデル(3DMM)を用いて、眼領域の3次元顔形状と外観を捉えるとともに、眼の幾何学的頂点モデルを用いて「アクティブ・ゲイズ3DMM」を与える。
本手法はアイダイアップデータセットにおいて最先端の結果が得られることを示し,アブレーション研究を行う。
本手法は,接地真理視線目標点とカメラパラメータのみを用いて学習でき,接地真理視線原点にアクセスできず,他の手法と比較してアプローチの適用範囲を広げることができる。
関連論文リスト
- Direct Learning of Mesh and Appearance via 3D Gaussian Splatting [3.4899193297791054]
本稿では、3DGSを明示的な幾何学的表現、すなわちメッシュに組み込んだ学習可能なシーンモデルを提案する。
我々のモデルはメッシュと外観をエンドツーエンドで学習し、メッシュ面に3Dガウスアンを結合し、3DGSの微分レンダリングを行い、測光監督を得る。
論文 参考訳（メタデータ） (2024-05-11T07:56:19Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - Model-aware 3D Eye Gaze from Weak and Few-shot Supervisions [60.360919642038]
本稿では,眼意味分類マスクの弱い監督と数個の3次元視線ベクトルの直接監督から3次元視線を予測することを提案する。
多様な環境下での実験では,提案手法の利点が示され,ベースラインの角度誤差が約5度低くなった。
論文 参考訳（メタデータ） (2023-11-20T20:22:55Z) - DSFNet: Dual Space Fusion Network for Occlusion-Robust 3D Dense Face
Alignment [34.223372986832544]
最先端の3DMMベースの手法は、モデルの係数を直接回帰する。
本稿では,画像とモデル空間予測の両方の利点を組み合わせた融合ネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-19T08:43:37Z) - EFE: End-to-end Frame-to-Gaze Estimation [42.61379693370926]
本研究では,3次元視線の起源と3次元視線方向の両方を直接予測するフレーム・ツー・ゲイズ・ネットワークを提案する。
FHD/HDからVGA/HVGA分解能まで、眼球領域にピクセルがほとんどないにもかかわらず、生のダウンスケールフレームからの直接の視線回帰が可能であることを示す。
論文 参考訳（メタデータ） (2023-05-09T15:25:45Z) - NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation [37.977032771941715]
本稿では,ニューラルラジアンス場に基づく新しい頭部方向パラメトリックモデルを提案する。
我々のモデルは、顔と目を切り離して、別々のニューラルレンダリングを行うことができる。
顔、アイデンティティ、照明、視線方向の属性を別々に制御する目的を達成することができる。
論文 参考訳（メタデータ） (2022-12-30T13:52:28Z) - GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields [100.53114092627577]
既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。
顔領域と眼球は3次元構造であり、協調しているが独立して動くという直感に基づいて構築する。
論文 参考訳（メタデータ） (2022-12-08T13:19:11Z) - 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from
Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。
視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。
本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文 参考訳（メタデータ） (2022-12-06T14:15:17Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳（メタデータ） (2022-02-01T21:21:56Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-01-26T09:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。