論文の概要: Multimodal Stress Detection Using Facial Landmarks and Biometric Signals
- arxiv url: http://arxiv.org/abs/2311.03606v1
- Date: Mon, 6 Nov 2023 23:20:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 17:43:34.068233
- Title: Multimodal Stress Detection Using Facial Landmarks and Biometric Signals
- Title(参考訳): 顔ランドマークと生体信号を用いたマルチモーダル応力検出
- Authors: Majid Hosseini, Morteza Bodaghi, Ravi Teja Bhupatiraju, Anthony Maida,
Raju Gottumukkala
- Abstract要約: マルチモーダル学習は、単一の信号に頼るのではなく、各モーダルの強さに乗じることを目的としている。
本稿では,顔のランドマークと生体信号を統合したストレス検出のためのマルチモーダル学習手法を提案する。
- 参考スコア(独自算出の注目度): 1.0124625066746595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of various sensing technologies is improving measurements of
stress and the well-being of individuals. Although progress has been made with
single signal modalities like wearables and facial emotion recognition,
integrating multiple modalities provides a more comprehensive understanding of
stress, given that stress manifests differently across different people.
Multi-modal learning aims to capitalize on the strength of each modality rather
than relying on a single signal. Given the complexity of processing and
integrating high-dimensional data from limited subjects, more research is
needed. Numerous research efforts have been focused on fusing stress and
emotion signals at an early stage, e.g., feature-level fusion using basic
machine learning methods and 1D-CNN Methods. This paper proposes a multi-modal
learning approach for stress detection that integrates facial landmarks and
biometric signals. We test this multi-modal integration with various
early-fusion and late-fusion techniques to integrate the 1D-CNN model from
biometric signals and 2-D CNN using facial landmarks. We evaluate these
architectures using a rigorous test of models' generalizability using the
leave-one-subject-out mechanism, i.e., all samples related to a single subject
are left out to train the model. Our findings show that late-fusion achieved
94.39\% accuracy, and early-fusion surpassed it with a 98.38\% accuracy rate.
This research contributes valuable insights into enhancing stress detection
through a multi-modal approach. The proposed research offers important
knowledge in improving stress detection using a multi-modal approach.
- Abstract(参考訳): 様々なセンシング技術の開発は、個人のストレスと幸福の測定を改善している。
ウェアラブルや顔の感情認識のような単一信号モダリティによって進歩は進んでいるが、複数のモダリティを統合することでストレスのより包括的な理解が可能になる。
マルチモーダル学習は、単一の信号に頼るのではなく、それぞれのモダリティの強さを活かすことを目的としている。
限られた被験者からの高次元データの処理と統合の複雑さを考えると、さらなる研究が必要である。
初期のストレスや感情信号の融合、例えば、基本的な機械学習手法と1D-CNN手法を用いた特徴レベルの融合など、多くの研究が注目されている。
本稿では,顔のランドマークと生体信号を統合するストレス検出のためのマルチモーダル学習手法を提案する。
顔のランドマークを用いた生体信号と2次元CNNからの1D-CNNモデルを統合するため, このマルチモーダル統合を様々な早期融合・後期融合技術と組み合わせて検証した。
モデルの一般化性を厳密なテストで評価し,1つの対象に関連するすべてのサンプルを除外してモデルをトレーニングする。
以上の結果から, 遅延核融合の精度は94.39 %, 早期核融合の精度は98.38 %であった。
この研究は、マルチモーダルアプローチによるストレス検出の強化に関する貴重な洞察に貢献する。
提案研究は,マルチモーダルアプローチを用いたストレス検出における重要な知識を提供する。
関連論文リスト
- Diagnosing Alzheimer's Disease using Early-Late Multimodal Data Fusion
with Jacobian Maps [1.5501208213584152]
アルツハイマー病(英語: Alzheimer's disease、AD)は、老化に影響を及ぼす神経変性疾患である。
本稿では,自動特徴抽出とランダム森林のための畳み込みニューラルネットワークを利用する,効率的な早期融合(ELF)手法を提案する。
脳の容積の微妙な変化を検出するという課題に対処するために、画像をヤコビ領域(JD)に変換する。
論文 参考訳(メタデータ) (2023-10-25T19:02:57Z) - Two Approaches to Supervised Image Segmentation [55.616364225463066]
本研究は、深層学習とマルチセットニューロンのアプローチの比較実験を開発する。
ディープラーニングアプローチは、画像セグメンテーションの実行の可能性を確認した。
代替のマルチセット手法では、計算資源をほとんど必要とせずに精度を向上することができた。
論文 参考訳(メタデータ) (2023-07-19T16:42:52Z) - Employing Multimodal Machine Learning for Stress Detection [8.430502131775722]
メンタルウェルネスは、今日の世界で最も無視されているが決定的な側面の1つである。
本研究では、人の作業行動とストレスレベルを監視するために、マルチモーダルなAIベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-15T14:34:16Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - SEMPAI: a Self-Enhancing Multi-Photon Artificial Intelligence for
prior-informed assessment of muscle function and pathology [48.54269377408277]
本稿では,仮説駆動型先行処理をデータ駆動型ディープラーニングアプローチに統合した,SEMPAI(Self-Enhancing Multi-Photon Artificial Intelligence)を紹介する。
SEMPAIは、小さなデータセットの予測を可能にするために、いくつかのタスクを共同で学習する。
SEMPAIは、少ないデータを含む7つの予測タスクのうち6つにおいて、最先端のバイオマーカーよりも優れています。
論文 参考訳(メタデータ) (2022-10-28T17:03:04Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - An Improved Subject-Independent Stress Detection Model Applied to
Consumer-grade Wearable Devices [7.714433991463217]
ストレス検出モデルを訓練する2つの一般的なアプローチは、主観的および主観的非依存的な訓練方法である。
本稿では,ニューラルネットワークアーキテクチャを用いたストレス関連バイオ信号処理パイプラインを導入し,対象非依存モデルの性能向上を図る。
提案モデルでは,従来の手法よりも1.63%高い平均精度のスコアが得られた。
論文 参考訳(メタデータ) (2022-03-18T00:19:42Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳(メタデータ) (2021-12-04T05:47:54Z) - A Compact Deep Learning Model for Face Spoofing Detection [4.250231861415827]
プレゼンテーションアタック検出(PAD)は研究コミュニティから大きな注目を集めている。
我々は、統一されたニューラルネットワークアーキテクチャにおいて、幅広い機能と深い機能の両方を融合することで、この問題に対処する。
この手順は、ROSE-Youtu、SiW、NUAA Imposterなどのさまざまなスプーフィングデータセットで行われます。
論文 参考訳(メタデータ) (2021-01-12T21:20:09Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳(メタデータ) (2020-04-10T06:31:30Z) - Multi-Scale Neural network for EEG Representation Learning in BCI [2.105172041656126]
本稿では,複数の周波数/時間範囲における特徴表現を探索する深層多スケールニューラルネットワークを提案する。
スペクトル時間情報を用いた脳波信号の表現により,提案手法を多種多様なパラダイムに応用することができる。
論文 参考訳(メタデータ) (2020-03-02T04:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。