論文の概要: Multimodal Emotion Recognition by Fusing Video Semantic in MOOC Learning Scenarios
- arxiv url: http://arxiv.org/abs/2404.07484v1
- Date: Thu, 11 Apr 2024 05:44:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 14:58:47.763248
- Title: Multimodal Emotion Recognition by Fusing Video Semantic in MOOC Learning Scenarios
- Title（参考訳）: MOOC学習シナリオにおけるFusing Video Semanticによるマルチモーダル感情認識
- Authors: Yuan Zhang, Xiaomei Tao, Hanxu Ai, Tao Chen, Yanling Gan,
- Abstract要約: MOOC(Massive Open Online Courses)では,指導ビデオの意味情報は学習者の感情状態に決定的な影響を及ぼす。
本稿では,映像意味情報と意味信号の融合によるマルチモーダル感情認識手法を提案する。
実験の結果,本手法は感情認識性能を著しく改善したことが示された。
- 参考スコア（独自算出の注目度）: 6.987099464814016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the Massive Open Online Courses (MOOC) learning scenario, the semantic information of instructional videos has a crucial impact on learners' emotional state. Learners mainly acquire knowledge by watching instructional videos, and the semantic information in the videos directly affects learners' emotional states. However, few studies have paid attention to the potential influence of the semantic information of instructional videos on learners' emotional states. To deeply explore the impact of video semantic information on learners' emotions, this paper innovatively proposes a multimodal emotion recognition method by fusing video semantic information and physiological signals. We generate video descriptions through a pre-trained large language model (LLM) to obtain high-level semantic information about instructional videos. Using the cross-attention mechanism for modal interaction, the semantic information is fused with the eye movement and PhotoPlethysmoGraphy (PPG) signals to obtain the features containing the critical information of the three modes. The accurate recognition of learners' emotional states is realized through the emotion classifier. The experimental results show that our method has significantly improved emotion recognition performance, providing a new perspective and efficient method for emotion recognition research in MOOC learning scenarios. The method proposed in this paper not only contributes to a deeper understanding of the impact of instructional videos on learners' emotional states but also provides a beneficial reference for future research on emotion recognition in MOOC learning scenarios.
- Abstract（参考訳）: MOOC(Massive Open Online Courses)学習シナリオでは,指導ビデオの意味情報は学習者の感情状態に決定的な影響を及ぼす。
学習者は、主に指導ビデオを見て知識を得るが、ビデオ中の意味情報は、学習者の感情状態に直接影響する。
しかし,学習者の感情状態に及ぼす指導ビデオの意味情報の影響について,潜在的に注意を払っている研究はほとんどない。
本稿では,映像意味情報が学習者の感情に与える影響を深く研究するために,映像意味情報と生理的信号を融合させることにより,マルチモーダルな感情認識手法を提案する。
我々は,事前学習された大言語モデル(LLM)を用いて映像記述を生成し,指導ビデオに関する高レベルな意味情報を得る。
眼球運動と光PlethysmoGraphy(PPG)信号とを融合させて、3つのモードの臨界情報を含む特徴を得る。
学習者の感情状態の正確な認識は感情分類器によって実現される。
実験の結果,本手法は感情認識性能を著しく向上させ,MOOC学習シナリオにおける感情認識研究の新しい視点と効率的な方法を提供することがわかった。
本提案手法は,学習者の感情状態に及ぼす指導ビデオの影響を深く理解するだけでなく,MOOC学習シナリオにおける感情認識の今後の研究にも有効である。
関連論文リスト
- Enhancing Micro Gesture Recognition for Emotion Understanding via Context-aware Visual-Text Contrastive Learning [4.819180187758932]
マイクロジェスチャ(MG)は人間の感情と密接に関連している。
既存のマイクロジェスチャ認識(MGR)法は、重要なテキスト情報を見越しながら単一のモダリティ(例えばRGBやスケルトン)のみを利用する。
そこで本研究では,MGRのためのテキスト情報を利用した,シンプルだが効果的なビジュアルテキストコントラスト学習ソリューションを提案する。
論文 参考訳（メタデータ） (2024-05-03T07:11:25Z) - Exploring Emotion Expression Recognition in Older Adults Interacting
with a Virtual Coach [22.00225071959289]
EMPATHICプロジェクトは、健康な高齢者が健康を改善し、自立した高齢化を促進することができる感情表現型バーチャルコーチを設計することを目的としている。
本稿では,仮想コーチの感情表現認識モジュールの開発について概説し,データ収集,アノテーション設計,第1の方法論的アプローチについて述べる。
論文 参考訳（メタデータ） (2023-11-09T18:22:32Z) - StyleEDL: Style-Guided High-order Attention Network for Image Emotion
Distribution Learning [69.06749934902464]
StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。
StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。
さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
論文 参考訳（メタデータ） (2023-08-06T03:22:46Z) - Learning Emotion Representations from Verbal and Nonverbal Communication [7.747924294389427]
本稿では,言語・非言語コミュニケーションから視覚的感情表現を抽出する最初の事前学習パラダイムであるEmotionCLIPを提案する。
EmotionCLIPは、感情誘導型コントラスト学習を用いて、主観的文脈エンコーディングと言語感情キューを通じて、非言語感情キューへの参加を誘導する。
EmotionCLIPは、感情理解におけるデータ不足の一般的な問題に対処し、関連する領域の進歩を促進する。
論文 参考訳（メタデータ） (2023-05-22T21:36:55Z) - A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In
Zero Shot [67.00455874279383]
そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。
提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。
ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
論文 参考訳（メタデータ） (2023-05-16T19:13:11Z) - How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。
Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。
Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
論文 参考訳（メタデータ） (2022-10-18T17:58:25Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2021-08-18T21:55:20Z) - Recognizing Emotions evoked by Movies using Multitask Learning [3.4290619267487488]
誘発感情を認識する方法は通常、人間の注釈付きデータに基づいて訓練される。
本稿では,Single-Task (ST) アーキテクチャとMulti-Task (MT) アーキテクチャの2つのディープラーニングアーキテクチャを提案する。
以上の結果から,MT手法は,アグリゲートアノテーションを直接訓練した手法と比較して,各ビューアとアグリゲートアノテーションをより正確にモデル化できることがわかった。
論文 参考訳（メタデータ） (2021-07-30T10:21:40Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳（メタデータ） (2021-06-30T15:20:56Z) - Meta Transfer Learning for Emotion Recognition [42.61707533351803]
本研究では、ある視覚的/聴覚的感情領域から学習した感情知識を、別の視覚的/聴覚的感情領域に伝達できるPathNetに基づく伝達学習手法を提案する。
提案システムは感情認識の性能を向上し,最近提案された微調整/事前学習モデルに基づく伝達学習手法よりも性能が大幅に向上する。
論文 参考訳（メタデータ） (2020-06-23T00:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。