論文の概要: 'Labelling the Gaps': A Weakly Supervised Automatic Eye Gaze Estimation
- arxiv url: http://arxiv.org/abs/2208.01840v1
- Date: Wed, 3 Aug 2022 04:51:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:43:17.526747
- Title: 'Labelling the Gaps': A Weakly Supervised Automatic Eye Gaze Estimation
- Title（参考訳）: ギャップのラベル付け」:目視による視線自動推定
- Authors: Shreya Ghosh, Abhinav Dhall, Jarrod Knibbe, Munawar Hayat
- Abstract要約: 本稿では,ラベル付きデータの限られた量で視線推定を行うという,興味深い課題について検討する。
提案手法は,視覚的特徴を持つラベル付きサブセットから知識を抽出し,識別特異な外観,視線軌跡の整合性,運動特徴などの特徴を抽出する。
提案手法は,4つのベンチマークデータセット (CAVE, TabletGaze, MPII, Gaze360) と,ウェブクローリングしたYouTubeビデオを用いて評価する。
- 参考スコア（独自算出の注目度）: 28.245662058349854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past few years, there has been an increasing interest to interpret
gaze direction in an unconstrained environment with limited supervision. Owing
to data curation and annotation issues, replicating gaze estimation method to
other platforms, such as unconstrained outdoor or AR/VR, might lead to
significant drop in performance due to insufficient availability of accurately
annotated data for model training. In this paper, we explore an interesting yet
challenging problem of gaze estimation method with a limited amount of labelled
data. The proposed method distills knowledge from the labelled subset with
visual features; including identity-specific appearance, gaze trajectory
consistency and motion features. Given a gaze trajectory, the method utilizes
label information of only the start and the end frames of a gaze sequence. An
extension of the proposed method further reduces the requirement of labelled
frames to only the start frame with a minor drop in the generated label's
quality. We evaluate the proposed method on four benchmark datasets (CAVE,
TabletGaze, MPII and Gaze360) as well as web-crawled YouTube videos. Our
proposed method reduces the annotation effort to as low as 2.67%, with minimal
impact on performance; indicating the potential of our model enabling gaze
estimation 'in-the-wild' setup.
- Abstract（参考訳）: 過去数年間、監督が限定された制約のない環境での視線方向の解釈への関心が高まっている。
データキュレーションやアノテーションの問題により、制約のない屋外やAR/VRのような他のプラットフォームへの視線推定手法の複製は、モデルトレーニングのための正確な注釈付きデータの入手が不十分なため、パフォーマンスが大幅に低下する可能性がある。
本稿では,限定されたラベル付きデータを用いて,視線推定手法の興味深い,かつ困難な課題について検討する。
提案手法は,視覚的特徴を持つラベル付きサブセットから知識を抽出し,識別特異な外観,視線軌跡の整合性,運動特徴などの特徴を抽出する。
この方法は、視線軌道が与えられた場合、視線シーケンスの開始フレームと終了フレームのみのラベル情報を利用する。
提案手法の拡張により、ラベル付きフレームの要求を、生成したラベルの品質がわずかに低下した開始フレームのみに低減する。
提案手法は,4つのベンチマークデータセット (CAVE, TabletGaze, MPII, Gaze360) と,ウェブクローリングしたYouTubeビデオを用いて評価する。
提案手法は,性能への影響を最小限に抑えつつ,アノテーションの労力を2.67%にまで削減する。
関連論文リスト
- Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities [25.049754180292034]
我々は、視線信号の解析を通して、自我中心ビデオにおける教師なし誤り検出の課題に対処する。
眼球運動が被写体操作活動に密接に従うという観察に基づいて,視線信号が誤検出をどの程度支援できるかを評価する。
予測された視線軌道と観測された視線軌道の矛盾は、誤りを特定する指標として機能する。
論文 参考訳（メタデータ） (2024-06-12T16:29:45Z) - Spatio-Temporal Attention and Gaussian Processes for Personalized Video Gaze Estimation [7.545077734926115]
本稿では,ビデオからの視線推定を目的とした,シンプルで斬新なディープラーニングモデルを提案する。
本手法では,ビデオ内の空間的ダイナミクスを追跡する空間的注意機構を用いる。
実験の結果,提案手法の有効性を確認し,データセット内設定とデータセット間設定の両方でその成功を実証した。
論文 参考訳（メタデータ） (2024-04-08T06:07:32Z) - Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking [61.44701715285463]
本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。
我々は、現在の状態からいくつかの事前登録されたアンカー状態に移行する状態の定量化として、視線推定を再構成する。
大規模視線推定ネットワークを直接学習する代わりに,地域の専門家グループと学生ネットワークを連携させることにより,一般化能力の向上を図る。
論文 参考訳（メタデータ） (2024-03-31T03:30:37Z) - Weakly Supervised Video Individual CountingWeakly Supervised Video
Individual Counting [126.75545291243142]
Video Individual Countingは、単一のビデオ内のユニークな個人数を予測することを目的としている。
トラジェクトリラベルが提供されない弱い教師付きVICタスクを導入する。
そこで我々は,ネットワークを駆動し,インフロー,アウトフロー,残りを識別するために,エンドツーエンドのトレーニング可能なソフトコントラスト損失を考案した。
論文 参考訳（メタデータ） (2023-12-10T16:12:13Z) - Unsupervised Gaze-aware Contrastive Learning with Subject-specific
Condition [6.547550920819356]
ConGazeは、教師なしの方法で被験者間の一般的な視線認識表現を学習する、対照的な学習ベースのフレームワークである。
視線特性を保存し、視線一貫性を維持するために、視線特異的なデータ拡張を導入する。
我々はまた、共有特徴抽出器に視線認識と汎用表現を学習させる新しい主題条件投影モジュールを考案した。
論文 参考訳（メタデータ） (2023-09-08T09:45:19Z) - Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。
PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。
具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
論文 参考訳（メタデータ） (2023-03-21T15:34:50Z) - Toward Super-Resolution for Appearance-Based Gaze Estimation [4.594159253008448]
超解像度は視覚的観点から画質を改善することが示されている。
本稿では,SwinIR超解像モデルに基づく2段階のフレームワークを提案する。
自己教師付き学習は、ダウンストリームタスクに必要なラベル付きデータの量を減らすために、ラベルのないデータから学習することを目的としている。
論文 参考訳（メタデータ） (2023-03-17T17:40:32Z) - LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic
Latent Code Manipulation [0.0]
本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。
GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
論文 参考訳（メタデータ） (2022-09-21T08:05:53Z) - Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。
提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
論文 参考訳（メタデータ） (2022-08-24T14:59:28Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳（メタデータ） (2021-05-21T11:58:50Z) - Weakly-Supervised Physically Unconstrained Gaze Estimation [80.66438763587904]
我々は、人間のインタラクションのビデオから弱教師付き視線推定を行うという未発見の問題に対処する。
本稿では,タスクに特化して設計された新しい損失関数とともに,トレーニングアルゴリズムを提案する。
a)半教師付き視線推定の精度と(b)最先端の物理的に制約のないGaze360視線推定ベンチマーク上でのクロスドメイン一般化の精度を大幅に改善した。
論文 参考訳（メタデータ） (2021-05-20T14:58:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。