論文の概要: Weakly-Supervised Gaze Estimation from Synthetic Views

• arxiv url: http://arxiv.org/abs/2212.02997v1
• Date: Tue, 6 Dec 2022 14:15:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 17:09:00.703989
• Title: Weakly-Supervised Gaze Estimation from Synthetic Views
• Title（参考訳）: 合成的視点による弱教師付き視線推定
• Authors: Evangelos Ververas, Polydefkis Gkagkos, Jiankang Deng, Jia Guo, Michail Christos Doukas, Stefanos Zafeiriou
• Abstract要約: 我々は3次元眼網の回帰として3次元視線推定に取り組むことを提案する。 我々は、既存の視線データセットに剛性のある3D眼球テンプレートを組み込むことで、互換性のある地上事実の欠如を克服する。 任意の顔画像から頑健な擬似ラベルを検索するための自動パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 67.48332133329339
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D gaze estimation is most often tackled as learning a direct mapping between input images and the gaze vector or its spherical coordinates. Recently, it has been shown that pose estimation of the face, body and hands benefits from revising the learning target from few pose parameters to dense 3D coordinates. In this work, we leverage this observation and propose to tackle 3D gaze estimation as regression of 3D eye meshes. We overcome the absence of compatible ground truth by fitting a rigid 3D eyeball template on existing gaze datasets and propose to improve generalization by making use of widely available in-the-wild face images. To this end, we propose an automatic pipeline to retrieve robust gaze pseudo-labels from arbitrary face images and design a multi-view supervision framework to balance their effect during training. In our experiments, our method achieves improvement of 30% compared to state-of-the-art in cross-dataset gaze estimation, when no ground truth data are available for training, and 7% when they are. We make our project publicly available at https://github.com/Vagver/dense3Deyes.
• Abstract（参考訳）: 3次元視線推定は、入力画像と視線ベクトルまたはその球面座標の直接マッピングを学ぶために最もよく取り組まれる。 近年, 顔, 体, 手のポーズ推定は, 少数のポーズパラメータから高密度な3次元座標への学習対象の修正による効果が示されている。 本研究では,この観測を応用し,3次元眼網の回帰として3次元視線推定に取り組むことを提案する。 我々は、既存の視線データセットに剛性のある3次元眼球テンプレートを組み込むことで、両眼で広く利用可能な顔画像を利用することで、一般化を改善することを提案する。 そこで本研究では,任意の顔画像からロバストな視線擬似ラベルを抽出し,その効果のバランスをとるための多視点監視フレームワークを設計するための自動パイプラインを提案する。 実験では,データセット間視線推定における最新技術と比較して30%改善し,訓練に基礎的真理データが得られない場合と7%改善した。 私たちはプロジェクトをhttps://github.com/vagver/dense3deyesで公開しています。

関連論文リスト

• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• CrossGaze: A Strong Method for 3D Gaze Estimation in the Wild [4.089889918897877]
  我々は、視線推定のための強力なベースラインであるCrossGazeを提案する。 我々のモデルはいくつかの最先端手法を超え、平均角誤差は9.94度である。 提案手法は,視線推定における将来の研究開発の基盤となる。
  論文  参考訳（メタデータ） (2024-02-13T09:20:26Z)
• A Survey on 3D Gaussian Splatting [51.96747208581275]
  3D Gaussian splatting (GS) は、明示的なラディアンス場とコンピュータグラフィックスの領域において、トランスフォーメーション技術として登場した。 本稿では,3D GSの領域における最近の発展と重要な貢献について,初めて体系的に概説する。 前例のないレンダリング速度を実現することで、3D GSは、仮想現実からインタラクティブメディアなど、数多くのアプリケーションを開くことができる。
  論文  参考訳（メタデータ） (2024-01-08T13:42:59Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement [12.857137513211866]
  本稿では、教師なしドメイン適応のためのトレーニングデータ合成と視線推定モデルからなる効果的なモデルトレーニングパイプラインを提案する。 提案したデータ合成は、単一画像の3D再構成を利用して、3次元の顔形状データセットを必要とせずに、ソース領域から頭部ポーズの範囲を広げる。 本稿では、視線関連特徴を分離し、背景アグリゲーション整合性損失を導入し、合成音源領域の特性を生かしたディエンタングリングオートエンコーダネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:15:03Z)
• L2CS-Net: Fine-Grained Gaze Estimation in Unconstrained Environments [2.5234156040689237]
  制約のない環境での視線予測のための頑健なCNNモデルを提案する。 我々は、ネットワーク学習を改善し、一般化を高めるために、各角度に2つの同一の損失を用いる。 提案モデルでは,MPIIGazeデータセットとGaze360データセットを用いて3.92degと10.41degの最先端精度を実現する。
  論文  参考訳（メタデータ） (2022-03-07T12:35:39Z)
• Weakly-Supervised Physically Unconstrained Gaze Estimation [80.66438763587904]
  我々は、人間のインタラクションのビデオから弱教師付き視線推定を行うという未発見の問題に対処する。 本稿では,タスクに特化して設計された新しい損失関数とともに,トレーニングアルゴリズムを提案する。 a)半教師付き視線推定の精度と(b)最先端の物理的に制約のないGaze360視線推定ベンチマーク上でのクロスドメイン一般化の精度を大幅に改善した。
  論文  参考訳（メタデータ） (2021-05-20T14:58:52Z)
• 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
  焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。 このモデルは、クリアアイパッチを抽出する必要がない。 モデルを拡張して、360度視線推定の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-15T08:45:12Z)
• Learning to Detect Head Movement in Unconstrained Remote Gaze Estimation in the Wild [19.829721663742124]
  本稿では,視線推定に異なるレベルの頭部表現をより堅牢に組み込むことができるエンドツーエンドの視線推定手法を提案する。 提案手法は,画像品質の低い実世界のシナリオ,照明の異なるシナリオ,直接目的情報を利用できないシナリオに一般化することができる。
  論文  参考訳（メタデータ） (2020-04-07T22:38:49Z)
• It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation [82.16380486281108]
  顔の全体像のみを入力とする外観に基づく手法を提案する。 本手法は,特徴写像に空間重みを印加した畳み込みニューラルネットワークを用いて顔画像の符号化を行う。 本手法は2次元視線と3次元視線の両方で技量を有意に上回ることを示す。
  論文  参考訳（メタデータ） (2016-11-27T15:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。