論文の概要: Your blush gives you away: detecting hidden mental states with remote photoplethysmography and thermal imaging

• arxiv url: http://arxiv.org/abs/2401.09145v1
• Date: Wed, 17 Jan 2024 11:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 16:00:11.045900
• Title: Your blush gives you away: detecting hidden mental states with remote photoplethysmography and thermal imaging
• Title（参考訳）: リモート光胸腺撮影とサーモグラフィーで隠れた精神状態を検出する
• Authors: Ivan Liu, Fangyuan Liu, Qi Zhong, Fei Ma, Shiguang Ni
• Abstract要約: 本研究では,rモードと熱画像を統合し,予測性能を向上させることでギャップを埋めることを目的とする。 rのみを用いて, 認知的ストレスは77%, 道徳的高揚は61%であった。 これらのモダリティの早期融合戦略は精度を著しく改善し、認知的ストレス87%、道徳的上昇83%をRFを用いて達成した。
• 参考スコア（独自算出の注目度）: 5.604613879541013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal emotion recognition techniques are increasingly essential for assessing mental states. Image-based methods, however, tend to focus predominantly on overt visual cues and often overlook subtler mental state changes. Psychophysiological research has demonstrated that HR and skin temperature are effective in detecting ANS activities, thereby revealing these subtle changes. However, traditional HR tools are generally more costly and less portable, while skin temperature analysis usually necessitates extensive manual processing. Advances in remote-PPG and automatic thermal ROI detection algorithms have been developed to address these issues, yet their accuracy in practical applications remains limited. This study aims to bridge this gap by integrating r-PPG with thermal imaging to enhance prediction performance. Ninety participants completed a 20-minute questionnaire to induce cognitive stress, followed by watching a film aimed at eliciting moral elevation. The results demonstrate that the combination of r-PPG and thermal imaging effectively detects emotional shifts. Using r-PPG alone, the prediction accuracy was 77% for cognitive stress and 61% for moral elevation, as determined by SVM. Thermal imaging alone achieved 79% accuracy for cognitive stress and 78% for moral elevation, utilizing a RF algorithm. An early fusion strategy of these modalities significantly improved accuracies, achieving 87% for cognitive stress and 83% for moral elevation using RF. Further analysis, which utilized statistical metrics and explainable machine learning methods including SHAP, highlighted key features and clarified the relationship between cardiac responses and facial temperature variations. Notably, it was observed that cardiovascular features derived from r-PPG models had a more pronounced influence in data fusion, despite thermal imaging's higher predictive accuracy in unimodal analysis.
• Abstract（参考訳）: マルチモーダル感情認識技術は、精神状態の評価にますます不可欠である。 しかし、画像に基づく手法は、主に過度な視覚的手がかりに焦点を当て、しばしば微妙な精神状態の変化を見落としている。 精神生理学的研究は、HRと皮膚温度がANS活動の検出に有効であることを示し、これらの微妙な変化を明らかにしている。 しかし、従来のHRツールは一般的に高価で携帯性も低いが、皮膚の温度分析は通常広範囲な手動処理を必要とする。 これらの問題に対処するために, 遠隔ppgおよび自動熱roi検出アルゴリズムが開発されているが, 実用化における精度は限られている。 本研究では,r-PPGと熱画像を統合し,予測性能を向上させることにより,このギャップを埋めることを目的とする。 9人の参加者が20分間のアンケートで認知的ストレスを誘発し、その後に道徳的高揚を求める映画を見た。 その結果,r-PPGと熱画像の組み合わせが感情変化を効果的に検出できることが示唆された。 r-ppgのみを用いた場合, svmで求めた認知ストレスは77%, モラル上昇は61%であった。 熱画像だけで認知ストレスの79%、モラル上昇の78%がrfアルゴリズムを用いて達成された。 これらのモダリティの早期融合戦略は精度を著しく向上させ,認知ストレス87%,道徳的上昇83%をRFを用いて達成した。 さらに、統計メトリクスとSHAPを含む説明可能な機械学習手法を利用した分析では、重要な特徴を強調し、心臓反応と顔の温度変化の関係を明らかにする。 特にr-ppgモデルから得られた心血管的特徴は,温熱画像解析における予測精度が高いにもかかわらず,データ融合に顕著に影響を及ぼした。

関連論文リスト

• Machine Learning Assisted Postural Movement Recognition using Photoplethysmography(PPG) [0.0]
  転倒検出・転倒防止技術の開発は, 緊急に必要である。 この研究は、姿勢運動を認識するための機械学習技術の使用を初めて提示する。 分類にはさまざまな機械学習アプローチが用いられ、ANN(Artificial Neural Network)が最適であることが判明した。
  論文  参考訳（メタデータ） (2024-11-02T18:56:41Z)
• SympCam: Remote Optical Measurement of Sympathetic Arousal [41.97525156940624]
  遠隔同情的覚醒予測の課題に適した新しい畳み込みアーキテクチャを提案する。 本手法により予測された交感神経刺激は, バランスの取れた90%の精度で身体的ストレスを検出することができることを示す。 我々は,遠隔同情的覚醒予測のタスクのために,明示的に設計されたデータセットを寄贈する。
  論文  参考訳（メタデータ） (2024-10-27T18:46:55Z)
• Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features [50.82725748981231]
  エンゲージメント測定は、医療、教育、サービスに応用される。 生理的特徴と行動的特徴の使用は可能であるが、従来の生理的測定の非現実性は接触センサーの必要性により生じる。 コンタクトセンサの代替として, 教師なし光胸腺造影(胸腔鏡)の有用性を実証する。
  論文  参考訳（メタデータ） (2024-04-05T20:39:16Z)
• Wavelet Analysis of Noninvasive EEG Signals Discriminates Complex and Natural Grasp Types [0.16385815610837165]
  本研究の目的は,脳波を用いた神経補綴器開発と脳-コンピュータ・インタフェース(BCI)の応用を目的とした脳波からの握手をデコードすることである。
  論文  参考訳（メタデータ） (2024-01-31T23:13:38Z)
• Distribution-based Low-rank Embedding [0.0]
  固有ベクトル(JSE)とワイブル埋め込み(Weibull Embedding)に対するJames-Steinを提案する。 主な目的は、熱データストリームの低次元(LD)表現を作ることである。 提案手法は,主基底ベクトルの投影精度が81.7%に向上したことを示す。
  論文  参考訳（メタデータ） (2023-12-29T12:29:45Z)
• Depression Recognition using Remote Photoplethysmography from Facial Videos [0.3867363075280544]
  うつ病は個人の健康に有害な精神疾患である。 本研究は、異なるうつ状態が血液量脈(BVP)と心拍変動(HRV)に顕著な影響を及ぼすかどうかを観察するために生理的信号を分析する。 視覚情報に基づいて顔映像から直接抽出する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T10:23:49Z)
• Texture Characterization of Histopathologic Images Using Ecological Diversity Measures and Discrete Wavelet Transform [82.53597363161228]
  本稿では,病理組織像間でテクスチャを特徴付ける手法を提案する。 2つのHIデータセットに有望な精度で、そのような画像の固有特性を定量化することが可能である。
  論文  参考訳（メタデータ） (2022-02-27T02:19:09Z)
• Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion [78.19156040783061]
  熱画像からの深度とエゴモーションの自己教師付き学習は、困難なシナリオ下で強い堅牢性と信頼性を示す。 弱いコントラスト、ぼやけたエッジ、ノイズなどの固有の熱画像特性は、熱画像から効果的な自己スーパービジョンを生成するために障害となる。 本研究では,時間的一貫性を維持しつつ,全体構造,コントラスト,詳細などの画像情報を大幅に向上させる有効熱画像マッピング手法を提案する。
  論文  参考訳（メタデータ） (2022-01-12T09:49:24Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)
• Detecting Parkinsonian Tremor from IMU Data Collected In-The-Wild using Deep Multiple-Instance Learning [59.74684475991192]
  パーキンソン病(英: Parkinson's Disease、PD)は、60歳以上の人口の約1%に影響を与える徐々に進化する神経学的疾患である。 PD症状には、震動、剛性、ブレイキネジアがある。 本稿では,スマートフォン端末から受信したIMU信号に基づいて,PDに関連するトレモラスなエピソードを自動的に識別する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-06T09:02:30Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。