論文の概要: Affect-driven Engagement Measurement from Videos

• arxiv url: http://arxiv.org/abs/2106.10882v1
• Date: Mon, 21 Jun 2021 06:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 00:42:58.789029
• Title: Affect-driven Engagement Measurement from Videos
• Title（参考訳）: ビデオからの感情駆動エンゲージメント測定
• Authors: Ali Abedi and Shehroz Khan
• Abstract要約: 仮想学習プログラムにおいて,ビデオによるエンゲージメント測定のための新しい手法を提案する。 ディープラーニングベースの時間モデルと従来の機械学習ベースの非時間モデルをトレーニングし、検証する。 実験の結果,最先端のエンゲージメントレベル分類精度は63.3%,非エンゲージメントビデオの正確な分類が得られた。
• 参考スコア（独自算出の注目度）: 0.8545305424564517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In education and intervention programs, person's engagement has been identified as a major factor in successful program completion. Automatic measurement of person's engagement provides useful information for instructors to meet program objectives and individualize program delivery. In this paper, we present a novel approach for video-based engagement measurement in virtual learning programs. We propose to use affect states, continuous values of valence and arousal extracted from consecutive video frames, along with a new latent affective feature vector and behavioral features for engagement measurement. Deep learning-based temporal, and traditional machine-learning-based non-temporal models are trained and validated on frame-level, and video-level features, respectively. In addition to the conventional centralized learning, we also implement the proposed method in a decentralized federated learning setting and study the effect of model personalization in engagement measurement. We evaluated the performance of the proposed method on the only two publicly available video engagement measurement datasets, DAiSEE and EmotiW, containing videos of students in online learning programs. Our experiments show a state-of-the-art engagement level classification accuracy of 63.3% and correctly classifying disengagement videos in the DAiSEE dataset and a regression mean squared error of 0.0673 on the EmotiW dataset. Our ablation study shows the effectiveness of incorporating affect states in engagement measurement. We interpret the findings from the experimental results based on psychology concepts in the field of engagement.
• Abstract（参考訳）: 教育と介入プログラムにおいて、個人の関与はプログラムの完成に成功するための主要な要因として認識されている。 参加者のエンゲージメントの自動測定は、インストラクターがプログラム目標を満たし、プログラム配信を個別化するための有用な情報を提供する。 本稿では,仮想学習プログラムにおける映像ベースエンゲージメント測定の新しい手法を提案する。 本研究では,連続する映像フレームから抽出したヴァレンスと覚醒の連続値と,新たな潜在的感情的特徴ベクトルと行動的特徴を用いたエンゲージメント測定を提案する。 深層学習に基づく時間モデルと従来の機械学習に基づく非時間モデルはそれぞれ、フレームレベルとビデオレベルの特徴に基づいてトレーニングされ、検証される。 従来の集中型学習に加えて,分散連合学習環境において提案手法を実装し,参加度測定におけるモデルパーソナライゼーションの効果について検討した。 オンライン学習プログラムにおける学生のビデオを含む2つのビデオエンゲージメント測定データセットであるDAiSEEとEmotiWについて,提案手法の性能評価を行った。 実験の結果,DAiSEEデータセットでは,最先端のエンゲージメントレベルの分類精度が63.3%,復調平均2乗誤差が0.0673であった。 本研究は,エンゲージメント測定における影響状態の導入効果を示す。 本研究は,エンゲージメントの分野における心理学的概念に基づく実験結果から得られた知見を解釈する。

関連論文リスト

• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• Engagement Measurement Based on Facial Landmarks and Spatial-Temporal Graph Convolutional Networks [2.4343669357792708]
  本稿では,ビデオからのエンゲージメント測定のための新しいプライバシ保護手法を提案する。 MediaPipeのディープラーニングソリューションを通じてビデオから抽出された、個人識別可能な情報を持たない顔のランドマークを使用している。 提案手法は,仮想学習プラットフォーム上に展開し,リアルタイムにエンゲージメントを測定することができる。
  論文  参考訳（メタデータ） (2024-03-25T20:43:23Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention [72.12974259966592]
  トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。 Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-09-17T15:58:27Z)
• Bag of States: A Non-sequential Approach to Video-based Engagement Measurement [7.864500429933145]
  学生の行動的・感情的状態は、そのエンゲージメントのレベルを測定するために、きめ細かい時間スケールで分析する必要がある。 既存の多くのアプローチは、ビデオから学生のエンゲージメントを測定するために、繰り返しニューラルネットワーク、時間畳み込みネットワーク、三次元畳み込みニューラルネットワークなどのシーケンシャルモデルとテンポラルモデルを開発した。 本研究では,学生の行動状態と感情状態のみをモデル化・解析し,それらの発生順序をモデル化する。
  論文  参考訳（メタデータ） (2023-01-17T07:12:34Z)
• Detecting Disengagement in Virtual Learning as an Anomaly [4.706263507340607]
  学生エンゲージメントは、仮想学習プログラムの目標を達成する上で重要な要素である。 本稿では,仮想学習における解離を異常検出問題として定式化する。 我々は、時間畳み込みネットワークオートエンコーダ、長期記憶オートエンコーダなど、様々なオートエンコーダを設計する。
  論文  参考訳（メタデータ） (2022-11-13T10:29:25Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)
• Memory-augmented Dense Predictive Coding for Video Representation Learning [103.69904379356413]
  本稿では,新しいアーキテクチャと学習フレームワーク Memory-augmented Predictive Coding (MemDPC) を提案する。 本稿では、RGBフレームからの視覚のみの自己教師付きビデオ表現学習や、教師なし光学フローからの学習、あるいはその両方について検討する。 いずれの場合も、トレーニングデータの桁数が桁違いに少ない他のアプローチに対して、最先端または同等のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-08-03T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。