論文の概要: VisioPhysioENet: Multimodal Engagement Detection using Visual and Physiological Signals
- arxiv url: http://arxiv.org/abs/2409.16126v1
- Date: Tue, 24 Sep 2024 14:36:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 05:36:51.232082
- Title: VisioPhysioENet: Multimodal Engagement Detection using Visual and Physiological Signals
- Title（参考訳）: VisioPhysioENet:視覚信号と生理信号を用いたマルチモーダルエンゲージメント検出
- Authors: Alakhsimar Singh, Nischay Verma, Kanav Goyal, Amritpal Singh, Puneet Kumar, Xiaobai Li,
- Abstract要約: 本稿では、視覚的手がかりと生理的信号を利用してエンゲージメントを検出する新しいシステムであるPhysioENetを紹介する。
DAiSEEデータセットの精度は63.09%である。
- 参考スコア（独自算出の注目度）: 12.238387391165071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents VisioPhysioENet, a novel multimodal system that leverages visual cues and physiological signals to detect learner engagement. It employs a two-level approach for visual feature extraction using the Dlib library for facial landmark extraction and the OpenCV library for further estimations. This is complemented by extracting physiological signals using the plane-orthogonal-to-skin method to assess cardiovascular activity. These features are integrated using advanced machine learning classifiers, enhancing the detection of various engagement levels. We rigorously evaluate VisioPhysioENet on the DAiSEE dataset, where it achieves an accuracy of 63.09%, demonstrating a superior ability to discern various levels of engagement compared to existing methodologies. The proposed system's code can be accessed at https://github.com/MIntelligence-Group/VisioPhysioENet.
- Abstract（参考訳）: 本稿では、視覚的手がかりと生理的信号を利用して学習者のエンゲージメントを検出する新しいマルチモーダルシステムVisioPhysioENetを提案する。
顔のランドマーク抽出にはDlibライブラリと、さらなる推定にはOpenCVライブラリを使用して、視覚的特徴抽出には2段階のアプローチを採用している。
これは、平面直交皮膚法を用いて生理的信号を抽出し、心血管活動を評価することによって補完される。
これらの機能は高度な機械学習分類器を使用して統合され、様々なエンゲージメントレベルの検出が強化される。
DAiSEEデータセット上でVisioPhysioENetを厳格に評価し,63.09%の精度を達成し,既存の手法と比較して,様々なレベルのエンゲージメントを識別できる優れた能力を示した。
提案されたシステムのコードはhttps://github.com/MIntelligence-Group/VisioPhysioENetでアクセスできる。
関連論文リスト
- Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。
本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。
本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
論文 参考訳（メタデータ） (2024-11-28T13:04:45Z) - Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。
提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。
医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2024-03-19T09:28:19Z) - Personality Trait Recognition using ECG Spectrograms and Deep Learning [6.6157730528755065]
本稿では,心電図(ECG)信号に応用した深層学習(DL)手法を用いて,人格特性の認識に革新的なアプローチを提案する。
この研究は、外転、神経症、同意性、良心、開放性を含む5つの大きな性格特性モデルを検出する枠組みの中で、ECG由来のスペクトログラムの可能性を情報的特徴として探求している。
論文 参考訳（メタデータ） (2024-02-06T19:09:44Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳（メタデータ） (2023-05-17T11:36:40Z) - Affinity Feature Strengthening for Accurate, Complete and Robust Vessel
Segmentation [48.638327652506284]
血管セグメンテーションは、冠動脈狭窄、網膜血管疾患、脳動脈瘤などの多くの医学的応用において重要である。
コントラストに敏感なマルチスケールアフィニティアプローチを用いて,幾何学的手法と画素単位のセグメンテーション特徴を連成的にモデル化する新しいアプローチであるAFNを提案する。
論文 参考訳（メタデータ） (2022-11-12T05:39:17Z) - An Algorithm for the Labeling and Interactive Visualization of the
Cerebrovascular System of Ischemic Strokes [59.116811751334225]
VirtualDSA++は、CTAスキャンで脳血管ツリーをセグメンテーションし、ラベル付けするために設計されたアルゴリズムである。
閉塞血管を同定するために,脳動脈のラベル付け機構を拡張した。
本稿では,そのモデルの全ノードにおける経路の反復的体系探索という一般的な概念を紹介し,新たな対話的特徴を実現する。
論文 参考訳（メタデータ） (2022-04-26T14:20:26Z) - A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence [13.25903945009516]
本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
論文 参考訳（メタデータ） (2022-03-31T13:14:00Z) - Facial Anatomical Landmark Detection using Regularized Transfer Learning
with Application to Fetal Alcohol Syndrome Recognition [24.27777060287004]
出生前アルコール曝露による胎児アルコール症候群(FAS)は、一連の頭蓋顔面異常を引き起こす可能性がある。
解剖学的ランドマーク検出は,FAS関連顔面異常の検出に重要である。
自然画像における顔のランドマーク検出のために設計された現在のディープラーニングに基づく熱マップ回帰法は、大きなデータセットが利用できることを前提としている。
我々は,大規模な顔認識データセットから学習したネットワークの知識を活用する,新たな正規化トランスファー学習手法を開発した。
論文 参考訳（メタデータ） (2021-09-12T11:05:06Z) - Dynamic Graph Modeling of Simultaneous EEG and Eye-tracking Data for
Reading Task Identification [79.41619843969347]
我々は、脳波(EEG)と眼球運動(EM)データからヒトの読取意図を特定するための新しいアプローチAdaGTCNを提案する。
本稿では,AdaGTCN(Adaptive Graph Temporal Convolution Network)の手法として,Adaptive Graph Learning LayerとDeep Neighborhood Graph Convolution Layerを用いた。
このアプローチといくつかのベースラインを比較し、ZuCo 2.0データセットの6.29%の改善と広範なアブレーション実験を報告します。
論文 参考訳（メタデータ） (2021-02-21T18:19:49Z) - Classifying Eye-Tracking Data Using Saliency Maps [8.524684315458245]
本稿では,視線追跡データの自動的,定量的分類のための視覚情報に基づく特徴抽出手法を提案する。
サリエンシの振幅、類似度、相違点を対応するアイフィクスマップと比較すると、視覚追跡データを識別するために識別的特徴を生成するために有効に活用される情報の余分な次元が得られる。
論文 参考訳（メタデータ） (2020-10-24T15:18:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。