論文の概要: MATT: Multimodal Attention Level Estimation for e-learning Platforms

• arxiv url: http://arxiv.org/abs/2301.09174v1
• Date: Sun, 22 Jan 2023 18:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-24 14:36:41.383596
• Title: MATT: Multimodal Attention Level Estimation for e-learning Platforms
• Title（参考訳）: MATT:eラーニングプラットフォームにおけるマルチモーダルアテンションレベル推定
• Authors: Roberto Daza, Luis F. Gomez, Aythami Morales, Julian Fierrez, Ruben Tolosana, Ruth Cobos, Javier Ortega-Garcia
• Abstract要約: 本研究は,マルチモーダル顔分析に基づくリモートアテンションレベル推定のための新しいマルチモーダルシステムを提案する。 私たちのマルチモーダルアプローチでは、認知負荷のモデル化に関連する行動や生理的プロセスから得られる様々なパラメータと信号を使用します。 mEBALデータベースは、eラーニング環境で得られたアテンションレベル推定のための公共マルチモーダルデータベースである実験フレームワークで使用される。
• 参考スコア（独自算出の注目度）: 16.407885871027887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work presents a new multimodal system for remote attention level estimation based on multimodal face analysis. Our multimodal approach uses different parameters and signals obtained from the behavior and physiological processes that have been related to modeling cognitive load such as faces gestures (e.g., blink rate, facial actions units) and user actions (e.g., head pose, distance to the camera). The multimodal system uses the following modules based on Convolutional Neural Networks (CNNs): Eye blink detection, head pose estimation, facial landmark detection, and facial expression features. First, we individually evaluate the proposed modules in the task of estimating the student's attention level captured during online e-learning sessions. For that we trained binary classifiers (high or low attention) based on Support Vector Machines (SVM) for each module. Secondly, we find out to what extent multimodal score level fusion improves the attention level estimation. The mEBAL database is used in the experimental framework, a public multi-modal database for attention level estimation obtained in an e-learning environment that contains data from 38 users while conducting several e-learning tasks of variable difficulty (creating changes in student cognitive loads).
• Abstract（参考訳）: 本研究は,マルチモーダル顔分析に基づくリモートアテンションレベル推定のための新しいマルチモーダルシステムを提案する。 我々のマルチモーダルアプローチは、顔のジェスチャー(例えば、瞬き率、顔の動き単位)やユーザー行動(例えば、頭部ポーズ、カメラの距離)といった認知的負荷のモデル化に関連する行動や生理的プロセスから得られる様々なパラメータと信号を使用する。 マルチモーダルシステムは、畳み込みニューラルネットワーク(CNN)に基づく以下のモジュールを使用する。 まず,オンラインeラーニングセッションにおける学生の注意度を推定する作業において,提案したモジュールを個別に評価する。 そのため、各モジュールのサポートベクトルマシン(SVM)に基づいてバイナリ分類器(高いか低いか)を訓練しました。 次に,マルチモーダルスコアレベル融合が注目度推定をどの程度改善するかを明らかにする。 mEBALデータベースは、変動困難(生徒の認知負荷の変化)の複数のeラーニングタスクを実行しながら、38人のユーザのデータを含むeラーニング環境で得られた注目レベル推定のためのパブリックマルチモーダルデータベースである。

関連論文リスト

• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning [18.36413246876648]
  本研究では,Webカメラビデオに適用した顔分析手法のアンサンブルを用いて,注意レベル(認知的負荷)を推定する革新的な手法を提案する。 我々のアプローチは、最先端の顔分析技術を適用し、ユーザの認知的負荷を、高い注意や低い注意の形で定量化する。 提案手法は,mEBAL2ベンチマークを用いて,既存の最先端の精度を向上する。
  論文  参考訳（メタデータ） (2024-08-10T11:39:11Z)
• Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition [6.995226697189459]
  In-the-wildビデオデータから表情認識のためのマルチモーダル自己教師学習手法を用いる。 以上の結果から,マルチモーダル・セルフ・スーパービジョン・タスクが課題に対して大きなパフォーマンス向上をもたらすことが示唆された。 トレーニング済みのモデルとソースコードを公開しています。
  論文  参考訳（メタデータ） (2024-04-16T20:51:36Z)
• Improved Baselines for Data-efficient Perceptual Augmentation of LLMs [66.05826802808177]
  コンピュータビジョンでは、画像キャプションや視覚的質問応答などの視覚言語タスクに、大きな言語モデル(LLM)を用いることができる。 複数のタスクにまたがる異なる対面機構を実験的に評価する。 異なるタスク間で(ほぼ)最適な結果をもたらす新しいインターフェース機構を同定し、トレーニング時間を4倍短縮する。
  論文  参考訳（メタデータ） (2024-03-20T10:57:17Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Expanding Frozen Vision-Language Models without Retraining: Towards Improved Robot Perception [0.0]
  視覚言語モデル(VLM)は、視覚的質問応答と推論タスクにおいて強力な能力を示している。 本稿では,異なるモダリティの埋め込み空間を視覚埋め込み空間に整列させる手法を示す。 複数モードを入力として使用すると、VLMのシーン理解が向上し、様々なタスクにおける全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-08-31T06:53:55Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)
• MOPT: Multi-Object Panoptic Tracking [33.77171216778909]
  マルチオブジェクト・パノプティブ・トラッキング(MOPT)と呼ばれる新しい知覚タスクを導入する。 MOPTは、時間とともに、"thing"クラスと"stuff"クラスのピクセルレベルのセマンティック情報、時間的コヒーレンス、ピクセルレベルの関連を活用できる。 視覚ベースとLiDARベースのMOPTの定量的,定性的な評価を行い,その効果を実証した。
  論文  参考訳（メタデータ） (2020-04-17T11:45:28Z)
• A System for Real-Time Interactive Analysis of Deep Learning Training [66.06880335222529]
  現在利用可能なシステムは、トレーニングプロセスが始まる前に指定しなければならないログデータのみを監視することに限定されている。 本稿では,リアルタイム情報を生成するライブプロセス上で対話型クエリを実行可能にするシステムを提案する。
  論文  参考訳（メタデータ） (2020-01-05T11:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。