論文の概要: Using Vision Language Models to Detect Students' Academic Emotion through Facial Expressions

• arxiv url: http://arxiv.org/abs/2506.10334v1
• Date: Thu, 12 Jun 2025 04:01:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.561396
• Title: Using Vision Language Models to Detect Students' Academic Emotion through Facial Expressions
• Title（参考訳）: 視覚言語モデルを用いた表情による学生の学習感情の検出
• Authors: Deliang Wang, Chao Yang, Gaowei Chen,
• Abstract要約: 学生の学問的感情は社会的行動や学習成績に大きな影響を及ぼす。 これらの感情を自動的かつ正確に分析する従来のアプローチは、主に教師付き機械学習アルゴリズムに依存している。 本研究では,視覚言語モデル(VLM)が,表情を通して学生の学術的感情を分析する可能性について検討した。
• 参考スコア（独自算出の注目度）: 40.24786235839105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Students' academic emotions significantly influence their social behavior and learning performance. Traditional approaches to automatically and accurately analyze these emotions have predominantly relied on supervised machine learning algorithms. However, these models often struggle to generalize across different contexts, necessitating repeated cycles of data collection, annotation, and training. The emergence of Vision-Language Models (VLMs) offers a promising alternative, enabling generalization across visual recognition tasks through zero-shot prompting without requiring fine-tuning. This study investigates the potential of VLMs to analyze students' academic emotions via facial expressions in an online learning environment. We employed two VLMs, Llama-3.2-11B-Vision-Instruct and Qwen2.5-VL-7B-Instruct, to analyze 5,000 images depicting confused, distracted, happy, neutral, and tired expressions using zero-shot prompting. Preliminary results indicate that both models demonstrate moderate performance in academic facial expression recognition, with Qwen2.5-VL-7B-Instruct outperforming Llama-3.2-11B-Vision-Instruct. Notably, both models excel in identifying students' happy emotions but fail to detect distracted behavior. Additionally, Qwen2.5-VL-7B-Instruct exhibits relatively high performance in recognizing students' confused expressions, highlighting its potential for practical applications in identifying content that causes student confusion.
• Abstract（参考訳）: 学生の学問的感情は社会的行動や学習成績に大きな影響を及ぼす。 これらの感情を自動的かつ正確に分析する従来のアプローチは、主に教師付き機械学習アルゴリズムに依存している。 しかしながら、これらのモデルは様々なコンテキストをまたいだ一般化に苦慮し、データ収集、アノテーション、トレーニングの繰り返しサイクルを必要とします。 VLM(Vision-Language Models)の出現は、微調整を必要とせずにゼロショットプロンプトによる視覚認識タスクの一般化を可能にする、有望な代替手段を提供する。 本研究は,オンライン学習環境における表情を通して学生の学術的感情を分析するためのVLMの可能性について検討する。 我々は2つのVLM(Llama-3.2-11B-Vision-Instruct)とQwen2.5-VL-7B-Instruct(Qwen2.5-VL-7B-Instruct)を使用して、ゼロショットプロンプトを用いて混乱、混乱、幸せ、中立、疲れた表現を表現した5000の画像を解析した。 Qwen2.5-VL-7B-InstructはLlama-3.2-11B-Vision-Instructより優れていた。 特に、どちらのモデルも生徒の幸せな感情を特定するのに優れているが、気を散らす行動を検出するのに失敗する。 さらに、Qwen2.5-VL-7B-Instructは、生徒の混乱した表現を認識する上で比較的高い性能を示し、学生の混乱を引き起こすコンテンツを特定するための実践的応用の可能性を強調している。

関連論文リスト

• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Self-Supervised Multi-View Representation Learning using Vision-Language Model for 3D/4D Facial Expression Recognition [1.03341388090561]
  SMILE-VLMは3D/4D FERのための自己教師型視覚言語モデルである。 多視点視覚表現学習と自然言語指導を一体化する。 本フレームワークは,複数のベンチマーク上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-06-01T22:47:11Z)
• Emotion-Qwen: Training Hybrid Experts for Unified Emotion and General Vision-Language Understanding [24.884935271771624]
  Emotion-Qwenは、感情理解と一般的な視覚言語推論の両方を強化するために設計されたフレームワークである。 Emotion-Qwenは、Mixture of Experts (MoE)パラダイムに基づいた洗練されたハイブリッドを組み込んでいる。 ビデオ感情推論(VER)データセットを構築し,40万本以上のバイリンガルビデオクリップと詳細な記述的アノテーションを用いて,感情・クウェンの感情推論能力をさらに強化する。
  論文  参考訳（メタデータ） (2025-05-10T16:15:26Z)
• VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection [50.57849622045192]
  本稿では,外部知識注入を用いた感情中心型VA表現学習のための効率的なフレームワークであるVAEmoを提案する。 VAEmoは、コンパクトな設計で最先端のパフォーマンスを実現し、統合されたクロスモーダルエンコーディングと感情認識のセマンティックガイダンスの利点を強調している。
  論文  参考訳（メタデータ） (2025-05-05T03:00:51Z)
• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• Visual Prompting in LLMs for Enhancing Emotion Recognition [10.608029430740364]
  Vision Large Language Models (VLLM) は、コンピュータビジョンと自然言語処理の交差点を変革している。 本研究では,境界ボックスや顔のランドマークなどの空間情報を用いて,ターゲットを正確にマークすることで,ゼロショット感情認識を向上するSet-of-Vision prompting (SoV)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-03T06:33:43Z)
• EmoVIT: Revolutionizing Emotion Insights with Visual Instruction Tuning [26.95442405140093]
  本研究は,情緒的文脈に関連する指導の理解と定着におけるモデルの能力向上に焦点を当てる。 本稿では,感情の視覚的インストラクションデータを生成するための新しいGPT支援パイプラインを提案する。 提案するEmoVITアーキテクチャは感情固有の命令データを組み込んで,大規模言語モデルの強力な機能を活用している。
  論文  参考訳（メタデータ） (2024-04-25T15:15:36Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)
• AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition [79.8779790682205]
  本稿では,auアノテーションを使わずにau表現を学習し,表情認識を容易にするau表現知識制約表現学習(aue-crl)フレームワークを提案する。 課題のある非制御データセットの実験を行い,提案されたフレームワークが現状の手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-12-29T03:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。