論文の概要: UVAGaze: Unsupervised 1-to-2 Views Adaptation for Gaze Estimation
- arxiv url: http://arxiv.org/abs/2312.15644v1
- Date: Mon, 25 Dec 2023 08:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 17:19:48.206414
- Title: UVAGaze: Unsupervised 1-to-2 Views Adaptation for Gaze Estimation
- Title（参考訳）: UVAGaze: 視線推定のための教師なし1対2ビュー適応
- Authors: Ruicong Liu, Feng Lu
- Abstract要約: 視線推定のための新しい1-view-to-2-views (1-to-2 view) 適応ソリューションを提案する。
本手法は、フレキシブルに配置されたデュアルカメラに対して、従来の単視点視線推定器に適応する。
実験により、シングルビュー推定器が双対ビューに適応すると、特にクロスデータセット設定において、はるかに高い精度が得られることが示された。
- 参考スコア（独自算出の注目度）: 10.412375913640224
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Gaze estimation has become a subject of growing interest in recent research.
Most of the current methods rely on single-view facial images as input. Yet, it
is hard for these approaches to handle large head angles, leading to potential
inaccuracies in the estimation. To address this issue, adding a second-view
camera can help better capture eye appearance. However, existing multi-view
methods have two limitations. 1) They require multi-view annotations for
training, which are expensive. 2) More importantly, during testing, the exact
positions of the multiple cameras must be known and match those used in
training, which limits the application scenario. To address these challenges,
we propose a novel 1-view-to-2-views (1-to-2 views) adaptation solution in this
paper, the Unsupervised 1-to-2 Views Adaptation framework for Gaze estimation
(UVAGaze). Our method adapts a traditional single-view gaze estimator for
flexibly placed dual cameras. Here, the "flexibly" means we place the dual
cameras in arbitrary places regardless of the training data, without knowing
their extrinsic parameters. Specifically, the UVAGaze builds a dual-view mutual
supervision adaptation strategy, which takes advantage of the intrinsic
consistency of gaze directions between both views. In this way, our method can
not only benefit from common single-view pre-training, but also achieve more
advanced dual-view gaze estimation. The experimental results show that a
single-view estimator, when adapted for dual views, can achieve much higher
accuracy, especially in cross-dataset settings, with a substantial improvement
of 47.0%. Project page: https://github.com/MickeyLLG/UVAGaze.
- Abstract（参考訳）: 視線推定は近年の研究への関心が高まっている。
現在の手法のほとんどは、入力としてシングルビューの顔画像に依存している。
しかし、これらのアプローチが大きな頭部角度を扱うことは困難であり、推定の精度を損なう可能性がある。
この問題に対処するため、第2のカメラを追加することで、視線を捉えるのに役立ちます。
しかし、既存のマルチビューメソッドには2つの制限がある。
1) トレーニングにはマルチビューアノテーションが必要ですが,高価です。
2) さらに重要なのは,テスト中に複数のカメラの位置を正確に把握し,トレーニングで使用するものと一致させることで,アプリケーションのシナリオが制限されることだ。
そこで本研究では,視線推定のための教師なし1-to-2ビュー適応フレームワークであるuvagaze(unsupervised 1-to-2 views adaptation framework)を提案する。
本手法は、フレキシブルに配置したデュアルカメラのための従来の単視点視線推定器を適応させる。
ここで「フレキシブル」とは、トレーニングデータに関係なく、外部パラメータを知らずに、デュアルカメラを任意の場所に配置することを意味する。
具体的には、UVAGazeは両視点間の視線方向の本質的な整合性を利用する二重視点相互監督適応戦略を構築している。
この方法では,単一視点事前学習の利点を享受できるだけでなく,より高度な2視点視線推定を実現することができる。
実験結果から,双対ビューに適応した単一ビュー推定器は,特にクロスデータセット設定において,47.0%の大幅な改善を達成できることがわかった。
プロジェクトページ: https://github.com/MickeyLLG/UVAGaze.com
関連論文リスト
- Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Videos [66.1935609072708]
鍵となる仮説は、個々のビューがより正確にビューに依存しないテキストの要約を予測できるほど、それがより情報的になるということである。
本稿では,ビュー依存キャプション予測の相対的精度を,擬似ラベルを最もよく見るためのプロキシとして利用するフレームワークを提案する。
推論の間、我々のモデルは多視点ビデオ(言語やカメラのポーズなし)のみを入力として取り、各タイミングで見るのに最適な視点を返します。
論文 参考訳（メタデータ） (2024-11-13T16:31:08Z) - Merging Multiple Datasets for Improved Appearance-Based Gaze Estimation [10.682719521609743]
2段階のTransformer-based Gaze-Feature Fusion (TTGF) 法では、トランスフォーマーを使用して、両眼と顔の情報を別々にマージし、両眼にマージする。
提案手法は,各データセットにGaze Adaption Moduleを適用して,単一の共有推定器から推定した推定値を補正することにより,アノテーションの不一致を処理する。
論文 参考訳（メタデータ） (2024-09-02T02:51:40Z) - POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object
Interaction in the Multi-View World [59.545114016224254]
人間は、手と物体の相互作用の第三者による観察をエゴセントリックな視点に変換するのに長けている。
本稿では,自我中心の動画をほとんど持たない視点適応を実現するための,Prompt-Oriented View-Agnostic Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T09:54:44Z) - Single-to-Dual-View Adaptation for Egocentric 3D Hand Pose Estimation [16.95807780754898]
本稿では,事前学習した単一ビュー推定器を双対ビューに適応させる新しいS2DHand法を提案する。
S2DHandは、インデータセットとクロスデータセットの両方の設定下で、任意のカメラペアを大幅に改善する。
論文 参考訳（メタデータ） (2024-03-07T10:14:23Z) - DVGaze: Dual-View Gaze Estimation [13.3539097295729]
本稿では、視線推定のためのデュアルビュー視線推定ネットワーク(DV-Gaze)を提案する。
DV-Gazeは、ETH-XGazeとEVEデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-08-20T16:14:22Z) - Two-level Data Augmentation for Calibrated Multi-view Detection [51.5746691103591]
ビュー間のアライメントを保った新しいマルチビューデータ拡張パイプラインを導入する。
また,シーンレベルで直接適用された第2レベルの拡張を提案する。
単純なマルチビュー検出モデルと組み合わせることで、2レベル拡張パイプラインは既存のベースラインすべてより優れています。
論文 参考訳（メタデータ） (2022-10-19T17:55:13Z) - Unsupervised High-Resolution Portrait Gaze Correction and Animation [81.19271523855554]
本稿では,高解像度で非拘束なポートレート画像に対する視線補正とアニメーション手法を提案する。
まず、CelebGazeと高解像度のCelebHQGazeという2つの新しいポートレートデータセットを作成します。
本稿では,ガゼ補正モジュールとガゼアニメーションモジュールを用いて,画像の描画問題として視線補正タスクを定式化する。
論文 参考訳（メタデータ） (2022-07-01T08:14:42Z) - GazeOnce: Real-Time Multi-Person Gaze Estimation [18.16091280655655]
外観に基づく視線推定は、単一の画像から3次元視線方向を予測することを目的としている。
近年の深層学習に基づくアプローチは優れた性能を示すが,複数対人視線をリアルタイムに出力することはできない。
画像中の複数の顔に対する視線方向を同時に予測できるGazeOnceを提案する。
論文 参考訳（メタデータ） (2022-04-20T14:21:47Z) - 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。
このモデルは、クリアアイパッチを抽出する必要がない。
モデルを拡張して、360度視線推定の課題に対処する。
論文 参考訳（メタデータ） (2020-09-15T08:45:12Z) - Dual In-painting Model for Unsupervised Gaze Correction and Animation in
the Wild [82.42401132933462]
視線角度と頭部ポーズの正確なアノテーションを必要とせずに機能する解を提案する。
我々の手法は3つの新しいモジュールからなる: Gaze Correction Module (GCM)、 Gaze Animation Module (GAM)、 Pretrained Autoencoder Module (PAM)。
論文 参考訳（メタデータ） (2020-08-09T23:14:16Z) - Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance [74.27389895574422]
本稿では,数値誘導と画像誘導の両方を利用した新しい視線リダイレクトフレームワークを提案する。
提案手法は,画像品質とリダイレクト精度の両方の観点から,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-04-07T01:17:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。