論文の概要: CLERA: A Unified Model for Joint Cognitive Load and Eye Region Analysis
in the Wild
- arxiv url: http://arxiv.org/abs/2306.15073v1
- Date: Mon, 26 Jun 2023 21:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 15:29:14.224520
- Title: CLERA: A Unified Model for Joint Cognitive Load and Eye Region Analysis
in the Wild
- Title（参考訳）: CLERA:野生における共同認知負荷と眼領域解析のための統一モデル
- Authors: Li Ding, Jack Terwilliger, Aishni Parab, Meng Wang, Lex Fridman, Bruce
Mehler, Bryan Reimer
- Abstract要約: 目領域のダイナミックスをリアルタイムに分析することで、人間の視覚的注意の割り当てを監視し、精神状態を推定することができる。
共同学習フレームワークにおいて,正確なキーポイント検出と時間追跡を実現するCLERAを提案する。
また,共同瞳孔,眼開放性,ランドマークアノテーションを用いた30万人の顔の大規模データセットも導入した。
- 参考スコア（独自算出の注目度）: 18.79132232751083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-intrusive, real-time analysis of the dynamics of the eye region allows us
to monitor humans' visual attention allocation and estimate their mental state
during the performance of real-world tasks, which can potentially benefit a
wide range of human-computer interaction (HCI) applications. While commercial
eye-tracking devices have been frequently employed, the difficulty of
customizing these devices places unnecessary constraints on the exploration of
more efficient, end-to-end models of eye dynamics. In this work, we propose
CLERA, a unified model for Cognitive Load and Eye Region Analysis, which
achieves precise keypoint detection and spatiotemporal tracking in a
joint-learning framework. Our method demonstrates significant efficiency and
outperforms prior work on tasks including cognitive load estimation, eye
landmark detection, and blink estimation. We also introduce a large-scale
dataset of 30k human faces with joint pupil, eye-openness, and landmark
annotation, which aims to support future HCI research on human factors and
eye-related analysis.
- Abstract（参考訳）: 視線領域のダイナミックスを非インタラクティブでリアルタイムに分析することで、人間の視覚注意の割り当てをモニターし、現実世界のタスクの実行中にその精神状態を推定することが可能となり、幅広い人間とコンピュータの相互作用(hci)アプリケーションに役立つ可能性がある。
商用の視線追跡装置は頻繁に採用されているが、これらの装置のカスタマイズの難しさは、より効率的でエンドツーエンドな視線力学モデルの探索に不必要な制約を課している。
本研究では,協調学習におけるキーポイント検出と時空間追跡を実現する認知負荷・眼領域分析のための統一モデルcleraを提案する。
本手法は,認知的負荷推定,視線ランドマーク検出,瞬き推定などのタスクにおいて,事前の作業よりも効率が優れることを示す。
また,共同瞳孔,眼開放性,ランドマークアノテーションを用いた3k顔の大規模データセットも導入し,人的要因と視線関連分析に関する将来のhci研究を支援することを目的とした。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning [18.36413246876648]
本研究では,Webカメラビデオに適用した顔分析手法のアンサンブルを用いて,注意レベル(認知的負荷)を推定する革新的な手法を提案する。
我々のアプローチは、最先端の顔分析技術を適用し、ユーザの認知的負荷を、高い注意や低い注意の形で定量化する。
提案手法は,mEBAL2ベンチマークを用いて,既存の最先端の精度を向上する。
論文 参考訳（メタデータ） (2024-08-10T11:39:11Z) - Using Deep Learning to Increase Eye-Tracking Robustness, Accuracy, and Precision in Virtual Reality [2.2639735235640015]
この研究は、目の特徴追跡のための現代の機械学習(ML)に基づくいくつかの手法の影響を客観的に評価する。
メトリックには、視線推定の精度と精度、およびドロップアウト率が含まれる。
論文 参考訳（メタデータ） (2024-03-28T18:43:25Z) - Multimodal Adaptive Fusion of Face and Gait Features using Keyless
attention based Deep Neural Networks for Human Identification [67.64124512185087]
歩行のような軟式生体認証は、人物認識や再識別といった監視作業において顔に広く使われている。
本稿では,キーレス注意深層ニューラルネットワークを活用することで,歩行と顔のバイオメトリック・キューを動的に組み込むための適応型マルチバイオメトリック・フュージョン戦略を提案する。
論文 参考訳（メタデータ） (2023-03-24T05:28:35Z) - TMHOI: Translational Model for Human-Object Interaction Detection [18.804647133922195]
人-物間相互作用(HOI)を検出するための革新的なグラフベースアプローチを提案する。
本手法は,空間的知識と意味的知識を統合することで,HOIの感情表現を効果的に捉える。
我々のアプローチは、既存の最先端のグラフベースの手法よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2023-03-07T21:52:10Z) - Decoding Attention from Gaze: A Benchmark Dataset and End-to-End Models [6.642042615005632]
視線追跡は、生態学的に有効な環境において、人間の認知に関する豊富な行動データを提供する可能性がある。
本稿では,コンピュータビジョンツールを用いて,時間とともに参加者の過度な視覚的注意の軌跡を評価する作業である「アテンション・デコーディング」について検討する。
論文 参考訳（メタデータ） (2022-11-20T12:24:57Z) - Learn to Predict How Humans Manipulate Large-sized Objects from
Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。
動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文 参考訳（メタデータ） (2022-06-25T09:55:39Z) - A Deep Learning Approach for the Segmentation of Electroencephalography
Data in Eye Tracking Applications [56.458448869572294]
脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。
エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。
我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
論文 参考訳（メタデータ） (2022-06-17T10:17:24Z) - Automatic Gaze Analysis: A Survey of DeepLearning based Approaches [61.32686939754183]
視線分析はコンピュータビジョンとヒューマン・コンピュータ・インタラクションの分野で重要な研究課題である。
制約のない環境で視線方向を解釈するための重要な手がかりは何か、いくつかのオープンな質問がある。
我々は、これらの基本的な疑問に光を当てるために、様々な視線分析タスクと応用の進捗を概観する。
論文 参考訳（メタデータ） (2021-08-12T00:30:39Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。