論文の概要: 'Labelling the Gaps': A Weakly Supervised Automatic Eye Gaze Estimation
- arxiv url: http://arxiv.org/abs/2208.01840v1
- Date: Wed, 3 Aug 2022 04:51:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:43:17.526747
- Title: 'Labelling the Gaps': A Weakly Supervised Automatic Eye Gaze Estimation
- Title(参考訳): ギャップのラベル付け」:目視による視線自動推定
- Authors: Shreya Ghosh, Abhinav Dhall, Jarrod Knibbe, Munawar Hayat
- Abstract要約: 本稿では,ラベル付きデータの限られた量で視線推定を行うという,興味深い課題について検討する。
提案手法は,視覚的特徴を持つラベル付きサブセットから知識を抽出し,識別特異な外観,視線軌跡の整合性,運動特徴などの特徴を抽出する。
提案手法は,4つのベンチマークデータセット (CAVE, TabletGaze, MPII, Gaze360) と,ウェブクローリングしたYouTubeビデオを用いて評価する。
- 参考スコア(独自算出の注目度): 28.245662058349854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past few years, there has been an increasing interest to interpret
gaze direction in an unconstrained environment with limited supervision. Owing
to data curation and annotation issues, replicating gaze estimation method to
other platforms, such as unconstrained outdoor or AR/VR, might lead to
significant drop in performance due to insufficient availability of accurately
annotated data for model training. In this paper, we explore an interesting yet
challenging problem of gaze estimation method with a limited amount of labelled
data. The proposed method distills knowledge from the labelled subset with
visual features; including identity-specific appearance, gaze trajectory
consistency and motion features. Given a gaze trajectory, the method utilizes
label information of only the start and the end frames of a gaze sequence. An
extension of the proposed method further reduces the requirement of labelled
frames to only the start frame with a minor drop in the generated label's
quality. We evaluate the proposed method on four benchmark datasets (CAVE,
TabletGaze, MPII and Gaze360) as well as web-crawled YouTube videos. Our
proposed method reduces the annotation effort to as low as 2.67%, with minimal
impact on performance; indicating the potential of our model enabling gaze
estimation 'in-the-wild' setup.
- Abstract(参考訳): 過去数年間、監督が限定された制約のない環境での視線方向の解釈への関心が高まっている。
データキュレーションやアノテーションの問題により、制約のない屋外やAR/VRのような他のプラットフォームへの視線推定手法の複製は、モデルトレーニングのための正確な注釈付きデータの入手が不十分なため、パフォーマンスが大幅に低下する可能性がある。
本稿では,限定されたラベル付きデータを用いて,視線推定手法の興味深い,かつ困難な課題について検討する。
提案手法は,視覚的特徴を持つラベル付きサブセットから知識を抽出し,識別特異な外観,視線軌跡の整合性,運動特徴などの特徴を抽出する。
この方法は、視線軌道が与えられた場合、視線シーケンスの開始フレームと終了フレームのみのラベル情報を利用する。
提案手法の拡張により、ラベル付きフレームの要求を、生成したラベルの品質がわずかに低下した開始フレームのみに低減する。
提案手法は,4つのベンチマークデータセット (CAVE, TabletGaze, MPII, Gaze360) と,ウェブクローリングしたYouTubeビデオを用いて評価する。
提案手法は,性能への影響を最小限に抑えつつ,アノテーションの労力を2.67%にまで削減する。
関連論文リスト
- Weakly Supervised Video Individual CountingWeakly Supervised Video
Individual Counting [126.75545291243142]
Video Individual Countingは、単一のビデオ内のユニークな個人数を予測することを目的としている。
トラジェクトリラベルが提供されない弱い教師付きVICタスクを導入する。
そこで我々は,ネットワークを駆動し,インフロー,アウトフロー,残りを識別するために,エンドツーエンドのトレーニング可能なソフトコントラスト損失を考案した。
論文 参考訳(メタデータ) (2023-12-10T16:12:13Z) - Unsupervised Gaze-aware Contrastive Learning with Subject-specific
Condition [6.547550920819356]
ConGazeは、教師なしの方法で被験者間の一般的な視線認識表現を学習する、対照的な学習ベースのフレームワークである。
視線特性を保存し、視線一貫性を維持するために、視線特異的なデータ拡張を導入する。
我々はまた、共有特徴抽出器に視線認識と汎用表現を学習させる新しい主題条件投影モジュールを考案した。
論文 参考訳(メタデータ) (2023-09-08T09:45:19Z) - LoLep: Single-View View Synthesis with Locally-Learned Planes and
Self-Attention Occlusion Inference [66.45326873274908]
本稿では,1枚のRGB画像から局所学習平面を回帰してシーンを正確に表現するLoLepを提案する。
MINEと比較して、LPIPSは4.8%-9.0%、RVは73.9%-83.5%である。
論文 参考訳(メタデータ) (2023-07-23T03:38:55Z) - Toward Super-Resolution for Appearance-Based Gaze Estimation [4.594159253008448]
超解像度は視覚的観点から画質を改善することが示されている。
本稿では,SwinIR超解像モデルに基づく2段階のフレームワークを提案する。
自己教師付き学習は、ダウンストリームタスクに必要なラベル付きデータの量を減らすために、ラベルのないデータから学習することを目的としている。
論文 参考訳(メタデータ) (2023-03-17T17:40:32Z) - LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic
Latent Code Manipulation [0.0]
本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。
GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
論文 参考訳(メタデータ) (2022-09-21T08:05:53Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2~3ポイント増加させる。
論文 参考訳(メタデータ) (2022-08-24T14:59:28Z) - From Unsupervised to Few-shot Graph Anomaly Detection: A Multi-scale
Contrastive Learning Approach [49.439021563395976]
グラフデータからの異常検出は、ソーシャルネットワーク、金融、eコマースなど、多くのアプリケーションにおいて重要なデータマイニングタスクである。
マルチスケールcONtrastive lEarning(略してANEMONE)を用いた新しいフレームワーク, graph Anomaly dEtection フレームワークを提案する。
グラフニューラルネットワークをバックボーンとして、複数のグラフスケール(ビュー)から情報をエンコードすることで、グラフ内のノードのより良い表現を学習する。
論文 参考訳(メタデータ) (2022-02-11T09:45:11Z) - MTGLS: Multi-Task Gaze Estimation with Limited Supervision [27.57636769596276]
MTGLS:リミテッド・スーパービジョンを用いたマルチタスク・ゲイズ推定フレームワーク。
MTGLS:リミテッド・スーパービジョンを用いたマルチタスク・ゲイズ推定フレームワークを提案する。
提案手法はCAVE(6.43%)およびGaze360(6.59%)の教師なし最先端手法よりも優れている。
論文 参考訳(メタデータ) (2021-10-23T00:20:23Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳(メタデータ) (2021-05-21T11:58:50Z) - Weakly-Supervised Physically Unconstrained Gaze Estimation [80.66438763587904]
我々は、人間のインタラクションのビデオから弱教師付き視線推定を行うという未発見の問題に対処する。
本稿では,タスクに特化して設計された新しい損失関数とともに,トレーニングアルゴリズムを提案する。
a)半教師付き視線推定の精度と(b)最先端の物理的に制約のないGaze360視線推定ベンチマーク上でのクロスドメイン一般化の精度を大幅に改善した。
論文 参考訳(メタデータ) (2021-05-20T14:58:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。