論文の概要: NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
- arxiv url: http://arxiv.org/abs/2212.14710v1
- Date: Fri, 30 Dec 2022 13:52:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 16:57:02.465636
- Title: NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
- Title（参考訳）: NeRF-Gaze: 注視推定のための頭部方向パラメトリックモデル
- Authors: Pengwei Yin, Jiawu Dai, Jingjing Wang, Di Xie and Shiliang Pu
- Abstract要約: 本稿では,ニューラルラジアンス場に基づく新しい頭部方向パラメトリックモデルを提案する。
我々のモデルは、顔と目を切り離して、別々のニューラルレンダリングを行うことができる。
顔、アイデンティティ、照明、視線方向の属性を別々に制御する目的を達成することができる。
- 参考スコア（独自算出の注目度）: 37.977032771941715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaze estimation is the fundamental basis for many visual tasks. Yet, the high
cost of acquiring gaze datasets with 3D annotations hinders the optimization
and application of gaze estimation models. In this work, we propose a novel
Head-Eye redirection parametric model based on Neural Radiance Field, which
allows dense gaze data generation with view consistency and accurate gaze
direction. Moreover, our head-eye redirection parametric model can decouple the
face and eyes for separate neural rendering, so it can achieve the purpose of
separately controlling the attributes of the face, identity, illumination, and
eye gaze direction. Thus diverse 3D-aware gaze datasets could be obtained by
manipulating the latent code belonging to different face attributions in an
unsupervised manner. Extensive experiments on several benchmarks demonstrate
the effectiveness of our method in domain generalization and domain adaptation
for gaze estimation tasks.
- Abstract（参考訳）: 視線推定は多くの視覚的タスクの基礎となる。
しかし、3Dアノテーションによる視線データセット取得の高コストは、視線推定モデルの最適化と適用を妨げる。
そこで本研究では,ニューラル・ラミアンス・フィールドに基づく新しい頭部向けリダイレクト・パラメトリック・モデルを提案する。
さらに,本モデルでは,顔と眼を分離して別個のニューラルレンダリングを行うことが可能であり,顔,アイデンティティ,照明,視線方向の属性を別々に制御することを目的としている。
このように、異なる顔帰属に属する潜在コードを教師なしで操作することで、多様な3d対応の視線データセットを得ることができる。
いくつかのベンチマークにおいて、領域一般化および領域適応における手法の有効性を示す実験を行った。
関連論文リスト
- Accurate Gaze Estimation using an Active-gaze Morphable Model [9.192482716410511]
画像から直接視線方向を後退させるのではなく、3次元形状モデルを追加することで視線推定精度が向上することを示す。
我々はこれを幾何学的頂点モデルに当てはめ、アクティブ・ゲイズ3DMMを与える。
本手法は,地上の真理視原点にアクセスすることなく,地上の真理視原点とカメラパラメータのみを用いて学習することができる。
論文 参考訳（メタデータ） (2023-01-30T18:51:14Z) - 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from
Synthetic Views [67.00931529296788]
本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。
視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。
本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
論文 参考訳（メタデータ） (2022-12-06T14:15:17Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳（メタデータ） (2022-08-03T16:46:08Z) - Eye Gaze Estimation Model Analysis [2.4366811507669124]
本稿では、視線推定のための様々なモデルタイプについて論じ、非拘束環境における目印を用いた視線方向の予測結果を示す。
制約のない実世界の環境では、照明変更やその他の視覚的アーティファクトなどの要因により、最近の外観ベースの手法により、機能ベースの手法とモデルベースの手法が優れています。
論文 参考訳（メタデータ） (2022-07-28T20:40:03Z) - Learning-by-Novel-View-Synthesis for Full-Face Appearance-based 3D Gaze
Estimation [8.929311633814411]
本研究は,単眼の3次元顔再構成に基づく視線推定訓練データを合成するための新しいアプローチについて検討する。
マルチビュー再構成、フォトリアリスティックCGモデル、または生成ニューラルネットワークを用いた以前の研究とは異なり、我々のアプローチは既存のトレーニングデータの頭部ポーズ範囲を操作および拡張することができる。
論文 参考訳（メタデータ） (2022-01-20T00:29:45Z) - Learning Generative Vision Transformer with Energy-Based Latent Space
for Saliency Prediction [51.80191416661064]
本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。
ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。
生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
論文 参考訳（メタデータ） (2021-12-27T06:04:33Z) - Bayesian Eye Tracking [63.21413628808946]
モデルに基づく視線追跡は、目の特徴検出エラーの影響を受けやすい。
モデルベースアイトラッキングのためのベイズフレームワークを提案する。
提案手法は,最先端のモデルベースおよび学習ベースの手法と比較して,一般化能力の大幅な向上を示す。
論文 参考訳（メタデータ） (2021-06-25T02:08:03Z) - Self-Learning Transformations for Improving Gaze and Head Redirection [49.61091281780071]
視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成できる新しい顔画像生成モデルを提案する。
これは、視線やヘッドオリエンテーション、照明、色合いなど、多くの外見上の要因を解消する必要がある。
タスク非関連要因の明示的解消は、視線と頭部の向きのより正確なモデリングをもたらすことを示す。
論文 参考訳（メタデータ） (2020-10-23T11:18:37Z) - 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。
このモデルは、クリアアイパッチを抽出する必要がない。
モデルを拡張して、360度視線推定の課題に対処する。
論文 参考訳（メタデータ） (2020-09-15T08:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。