論文の概要: Multimodal Stress Detection Using Facial Landmarks and Biometric Signals
- arxiv url: http://arxiv.org/abs/2311.03606v1
- Date: Mon, 6 Nov 2023 23:20:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 17:43:34.068233
- Title: Multimodal Stress Detection Using Facial Landmarks and Biometric Signals
- Title（参考訳）: 顔ランドマークと生体信号を用いたマルチモーダル応力検出
- Authors: Majid Hosseini, Morteza Bodaghi, Ravi Teja Bhupatiraju, Anthony Maida,
Raju Gottumukkala
- Abstract要約: マルチモーダル学習は、単一の信号に頼るのではなく、各モーダルの強さに乗じることを目的としている。
本稿では,顔のランドマークと生体信号を統合したストレス検出のためのマルチモーダル学習手法を提案する。
- 参考スコア（独自算出の注目度）: 1.0124625066746595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of various sensing technologies is improving measurements of
stress and the well-being of individuals. Although progress has been made with
single signal modalities like wearables and facial emotion recognition,
integrating multiple modalities provides a more comprehensive understanding of
stress, given that stress manifests differently across different people.
Multi-modal learning aims to capitalize on the strength of each modality rather
than relying on a single signal. Given the complexity of processing and
integrating high-dimensional data from limited subjects, more research is
needed. Numerous research efforts have been focused on fusing stress and
emotion signals at an early stage, e.g., feature-level fusion using basic
machine learning methods and 1D-CNN Methods. This paper proposes a multi-modal
learning approach for stress detection that integrates facial landmarks and
biometric signals. We test this multi-modal integration with various
early-fusion and late-fusion techniques to integrate the 1D-CNN model from
biometric signals and 2-D CNN using facial landmarks. We evaluate these
architectures using a rigorous test of models' generalizability using the
leave-one-subject-out mechanism, i.e., all samples related to a single subject
are left out to train the model. Our findings show that late-fusion achieved
94.39\% accuracy, and early-fusion surpassed it with a 98.38\% accuracy rate.
This research contributes valuable insights into enhancing stress detection
through a multi-modal approach. The proposed research offers important
knowledge in improving stress detection using a multi-modal approach.
- Abstract（参考訳）: 様々なセンシング技術の開発は、個人のストレスと幸福の測定を改善している。
ウェアラブルや顔の感情認識のような単一信号モダリティによって進歩は進んでいるが、複数のモダリティを統合することでストレスのより包括的な理解が可能になる。
マルチモーダル学習は、単一の信号に頼るのではなく、それぞれのモダリティの強さを活かすことを目的としている。
限られた被験者からの高次元データの処理と統合の複雑さを考えると、さらなる研究が必要である。
初期のストレスや感情信号の融合、例えば、基本的な機械学習手法と1D-CNN手法を用いた特徴レベルの融合など、多くの研究が注目されている。
本稿では,顔のランドマークと生体信号を統合するストレス検出のためのマルチモーダル学習手法を提案する。
顔のランドマークを用いた生体信号と2次元CNNからの1D-CNNモデルを統合するため, このマルチモーダル統合を様々な早期融合・後期融合技術と組み合わせて検証した。
モデルの一般化性を厳密なテストで評価し,1つの対象に関連するすべてのサンプルを除外してモデルをトレーニングする。
以上の結果から, 遅延核融合の精度は94.39 %, 早期核融合の精度は98.38 %であった。
この研究は、マルチモーダルアプローチによるストレス検出の強化に関する貴重な洞察に貢献する。
提案研究は,マルチモーダルアプローチを用いたストレス検出における重要な知識を提供する。
関連論文リスト
- Deep Insights into Cognitive Decline: A Survey of Leveraging Non-Intrusive Modalities with Deep Learning Techniques [0.5172964916120903]
本研究は、ディープラーニング技術を用いて認知低下推定作業を自動化する最も関連性の高い手法についてレビューする。
トランスフォーマーアーキテクチャやファンデーションモデルのような最先端のアプローチを含む、各モダリティと方法論の重要な特徴と利点について論じる。
ほとんどの場合、テキストのモダリティは最良の結果を得ることができ、認知の低下を検出するのに最も関係がある。
論文 参考訳（メタデータ） (2024-10-24T17:59:21Z) - Promoting cross-modal representations to improve multimodal foundation models for physiological signals [3.630706646160043]
マスク付きオートエンコーディング目標を用いて,マルチモーダルモデルの事前学習を行う。
このモデルでは,様々な下流タスクに対して線形に探索できる表現を学習できることが示されている。
クロスモダリティを誘導する明示的な手法は、マルチモーダル事前訓練戦略を強化する可能性があると論じる。
論文 参考訳（メタデータ） (2024-10-21T18:47:36Z) - RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。
我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。
実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
論文 参考訳（メタデータ） (2024-10-02T16:47:55Z) - Advancing Automated Deception Detection: A Multimodal Approach to Feature Extraction and Analysis [0.0]
本研究は, 偽造検出モデルの精度を高めるために, 様々な特徴の抽出と組み合わせに焦点を当てる。
視覚、音声、テキストデータから特徴を体系的に抽出し、異なる組み合わせの実験を行うことで、印象的な99%の精度を達成できるロバストモデルを開発した。
論文 参考訳（メタデータ） (2024-07-08T14:59:10Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion
with Jacobian Maps [1.5501208213584152]
アルツハイマー病(英語: Alzheimer's disease、AD)は、老化に影響を及ぼす神経変性疾患である。
本稿では,自動特徴抽出とランダム森林のための畳み込みニューラルネットワークを利用する,効率的な早期融合(ELF)手法を提案する。
脳の容積の微妙な変化を検出するという課題に対処するために、画像をヤコビ領域(JD)に変換する。
論文 参考訳（メタデータ） (2023-10-25T19:02:57Z) - Employing Multimodal Machine Learning for Stress Detection [8.430502131775722]
メンタルウェルネスは、今日の世界で最も無視されているが決定的な側面の1つである。
本研究では、人の作業行動とストレスレベルを監視するために、マルチモーダルなAIベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-15T14:34:16Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳（メタデータ） (2022-08-17T12:36:26Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳（メタデータ） (2021-12-04T05:47:54Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳（メタデータ） (2020-04-10T06:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。