論文の概要: DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning
- arxiv url: http://arxiv.org/abs/2408.05523v1
- Date: Sat, 10 Aug 2024 11:39:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 18:31:52.264421
- Title: DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning
- Title（参考訳）: Deep Face-Attention:eラーニングへの応用による注意推定のためのマルチモーダル顔バイオメトリックス
- Authors: Roberto Daza, Luis F. Gomez, Julian Fierrez, Aythami Morales, Ruben Tolosana, Javier Ortega-Garcia,
- Abstract要約: 本研究では,Webカメラビデオに適用した顔分析手法のアンサンブルを用いて,注意レベル(認知的負荷)を推定する革新的な手法を提案する。
我々のアプローチは、最先端の顔分析技術を適用し、ユーザの認知的負荷を、高い注意や低い注意の形で定量化する。
提案手法は,mEBAL2ベンチマークを用いて,既存の最先端の精度を向上する。
- 参考スコア（独自算出の注目度）: 18.36413246876648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces an innovative method for estimating attention levels (cognitive load) using an ensemble of facial analysis techniques applied to webcam videos. Our method is particularly useful, among others, in e-learning applications, so we trained, evaluated, and compared our approach on the mEBAL2 database, a public multi-modal database acquired in an e-learning environment. mEBAL2 comprises data from 60 users who performed 8 different tasks. These tasks varied in difficulty, leading to changes in their cognitive loads. Our approach adapts state-of-the-art facial analysis technologies to quantify the users' cognitive load in the form of high or low attention. Several behavioral signals and physiological processes related to the cognitive load are used, such as eyeblink, heart rate, facial action units, and head pose, among others. Furthermore, we conduct a study to understand which individual features obtain better results, the most efficient combinations, explore local and global features, and how temporary time intervals affect attention level estimation, among other aspects. We find that global facial features are more appropriate for multimodal systems using score-level fusion, particularly as the temporal window increases. On the other hand, local features are more suitable for fusion through neural network training with score-level fusion approaches. Our method outperforms existing state-of-the-art accuracies using the public mEBAL2 benchmark.
- Abstract（参考訳）: 本研究では,Webカメラビデオに適用した顔分析手法のアンサンブルを用いて,注意レベル(認知的負荷)を推定する革新的な手法を提案する。
そこで我々は,eラーニング環境で取得した公開マルチモーダルデータベースであるmEBAL2データベースに対して,我々のアプローチを訓練し,評価し,比較した。
mEBAL2は、8つの異なるタスクを実行した60ユーザーのデータである。
これらの課題は困難に変化し、認知負荷の変化につながった。
我々のアプローチは、最先端の顔分析技術を適用して、ユーザの認知的負荷を、高い注意や低い注意の形で定量化する。
視線リンク、心拍数、顔の動き単位、頭部ポーズなど、認知的負荷に関連するいくつかの行動信号や生理的プロセスが使用されている。
さらに,どの特徴がより良い結果を得るか,最も効率的な組み合わせ,局所的特徴とグローバル的特徴の探索,一時的時間間隔が注意レベル推定に与える影響などについて検討する。
顔のグローバルな特徴は,特に時間窓の増大に伴って,スコアレベル融合を用いたマルチモーダルシステムにとってより適切であることが判明した。
一方、局所的な特徴は、スコアレベルの融合アプローチによるニューラルネットワークトレーニングにより、融合により適している。
提案手法は,mEBAL2ベンチマークを用いて,既存の最先端の精度を向上する。
関連論文リスト
- RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳（メタデータ） (2023-11-21T21:05:21Z) - Multimodal Adaptive Fusion of Face and Gait Features using Keyless
attention based Deep Neural Networks for Human Identification [67.64124512185087]
歩行のような軟式生体認証は、人物認識や再識別といった監視作業において顔に広く使われている。
本稿では,キーレス注意深層ニューラルネットワークを活用することで,歩行と顔のバイオメトリック・キューを動的に組み込むための適応型マルチバイオメトリック・フュージョン戦略を提案する。
論文 参考訳（メタデータ） (2023-03-24T05:28:35Z) - MATT: Multimodal Attention Level Estimation for e-learning Platforms [16.407885871027887]
本研究は,マルチモーダル顔分析に基づくリモートアテンションレベル推定のための新しいマルチモーダルシステムを提案する。
私たちのマルチモーダルアプローチでは、認知負荷のモデル化に関連する行動や生理的プロセスから得られる様々なパラメータと信号を使用します。
mEBALデータベースは、eラーニング環境で得られたアテンションレベル推定のための公共マルチモーダルデータベースである実験フレームワークで使用される。
論文 参考訳（メタデータ） (2023-01-22T18:18:20Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z) - Facial Emotion Recognition using Deep Residual Networks in Real-World
Environments [5.834678345946704]
そこで本研究では,Wild内および大規模に収集されたビデオデータセットに基づいて訓練された顔特徴抽出モデルを提案する。
データセットは100万のラベル付きフレームと2,616万の被験者で構成されている。
感情認識領域において時間情報は重要であるため、LSTM細胞を用いてデータの時間的ダイナミクスを捉える。
論文 参考訳（メタデータ） (2021-11-04T10:08:22Z) - Towards a Real-Time Facial Analysis System [13.649384403827359]
本稿では,リアルタイム顔分析システムのシステムレベル設計について述べる。
オブジェクトの検出、分類、回帰のためのディープニューラルネットワークのコレクションにより、カメラビューに現れる各人物の年齢、性別、表情、顔の類似性を認識する。
一般的なオフ・ザ・シェルフアーキテクチャの結果、システムの精度は最先端の手法に匹敵し、認識速度はリアルタイムの要求を満たすことが示された。
論文 参考訳（メタデータ） (2021-09-21T18:27:15Z) - Attentive Cross-modal Connections for Deep Multimodal Wearable-based
Emotion Recognition [7.559720049837459]
本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。
具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。
実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
論文 参考訳（メタデータ） (2021-08-04T18:40:32Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳（メタデータ） (2021-06-08T13:40:30Z) - Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。
具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
論文 参考訳（メタデータ） (2020-07-19T07:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。