論文の概要: Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition
- arxiv url: http://arxiv.org/abs/2406.16968v1
- Date: Sat, 22 Jun 2024 09:28:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 19:10:10.486165
- Title: Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition
- Title（参考訳）: 抑うつ認識のためのマルチスケールコントラストを用いたマルチモーダル生理信号表現学習
- Authors: Kai Shao, Rui Wang, Yixue Hao, Long Hu, Min Chen,
- Abstract要約: 機能近赤外分光法(NIRS)や脳波法(EEG)などの生理的信号に基づく抑うつは大きな進歩を遂げている。
本稿では,抑うつ認識のためのマルチスケールコントラストを用いたアーキテクチャを用いたマルチモーダル生理学的信号表現学習フレームワークを提案する。
刺激タスクに関連する意味表現の学習を強化するために,意味コントラストモジュールを提案する。
- 参考スコア（独自算出の注目度）: 11.664368726255727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depression recognition based on physiological signals such as functional near-infrared spectroscopy (fNIRS) and electroencephalogram (EEG) has made considerable progress. However, most existing studies ignore the complementarity and semantic consistency of multimodal physiological signals under the same stimulation task in complex spatio-temporal patterns. In this paper, we introduce a multimodal physiological signals representation learning framework using Siamese architecture via multiscale contrasting for depression recognition (MRLMC). First, fNIRS and EEG are transformed into different but correlated data based on a time-domain data augmentation strategy. Then, we design a spatio-temporal contrasting module to learn the representation of fNIRS and EEG through weight-sharing multiscale spatio-temporal convolution. Furthermore, to enhance the learning of semantic representation associated with stimulation tasks, a semantic consistency contrast module is proposed, aiming to maximize the semantic similarity of fNIRS and EEG. Extensive experiments on publicly available and self-collected multimodal physiological signals datasets indicate that MRLMC outperforms the state-of-the-art models. Moreover, our proposed framework is capable of transferring to multimodal time series downstream tasks.
- Abstract（参考訳）: 機能的近赤外分光法(fNIRS)や脳波法(EEG)などの生理的信号に基づく抑うつ認識は大きな進歩を遂げている。
しかし、既存のほとんどの研究は、複雑な時空間パターンにおける同じ刺激課題の下での多モード生理的信号の相補性と意味的一貫性を無視している。
本稿では,抑うつ認識のためのマルチスケールコントラストを用いたシームズアーキテクチャを用いたマルチモーダル生理学的信号表現学習フレームワークを提案する。
まず、fNIRSとEEGは、時間領域データ拡張戦略に基づいて異なるが相関したデータに変換される。
そして,重み共有型マルチスケール時空間畳み込みにより,fNIRSとEEGの表現を学習する時空間コントラストモジュールを設計する。
さらに、刺激タスクに関連する意味表現の学習を強化するために、fNIRSとEEGの意味的類似性を最大化することを目的とした意味一貫性コントラストモジュールを提案する。
公開および自己収集された多モード生理信号データセットに関する大規模な実験は、MRLMCが最先端のモデルよりも優れていることを示している。
さらに,提案するフレームワークは,下流タスクをマルチモーダル時系列に転送することができる。
関連論文リスト
- MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳（メタデータ） (2024-05-21T20:37:07Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral
Physiological Signals [7.293063257956068]
本稿では,パラメータ化ハイパーコンプレックス乗算を含む新しい融合モジュールを備えたハイパーコンプレックス・マルチモーダルネットワークを提案する。
我々は,脳波(EEG)および末梢生理信号から価値と覚醒値の分類を行い,公開されているMAHNOB-HCIを用いて検討した。
論文 参考訳（メタデータ） (2023-10-11T16:45:44Z) - TACOformer:Token-channel compounded Cross Attention for Multimodal
Emotion Recognition [0.951828574518325]
本稿では,チャネルレベルとトークンレベルの相互通信を統合したマルチモーダル融合の包括的視点を提案する。
具体的には,Token-chAnnel Compound (TACO) Cross Attentionというクロスアテンションモジュールを導入する。
また,脳波信号チャネルの空間分布に関する情報を保存するための2次元位置符号化手法を提案する。
論文 参考訳（メタデータ） (2023-06-23T16:28:12Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳（メタデータ） (2022-10-23T15:11:37Z) - A Self-attention Guided Multi-scale Gradient GAN for Diversified X-ray
Image Synthesis [0.6308539010172307]
GAN(Generative Adversarial Networks)を用いて,合成画像の生成によるデータ制限問題に対処する。
モード崩壊、非収束、不安定といったトレーニング課題は、多彩で高品質な画像の合成において、GANのパフォーマンスを低下させる。
本研究では,バイオメディカル画像の特徴の長距離依存性の関係をモデル化する,注意誘導型マルチスケール勾配GANアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-09T13:17:17Z) - Video-based Remote Physiological Measurement via Cross-verified Feature
Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。
次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。
歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文 参考訳（メタデータ） (2020-07-16T09:39:17Z) - Augmenting interictal mapping with neurovascular coupling biomarkers by
structured factorization of epileptic EEG and fMRI data [3.2268407474728957]
脳波-fMRI解析のための新しい構造マトリックス・テンソル分解法を開発した。
抽出したソースシグネチャは、イクタルオンセットゾーンの感度な局所化を提供することを示す。
また,血行動態の空間的変動から相補的局所化情報を導出できることが示唆された。
論文 参考訳（メタデータ） (2020-04-29T13:27:45Z) - Multi-Scale Neural network for EEG Representation Learning in BCI [2.105172041656126]
本稿では,複数の周波数/時間範囲における特徴表現を探索する深層多スケールニューラルネットワークを提案する。
スペクトル時間情報を用いた脳波信号の表現により,提案手法を多種多様なパラダイムに応用することができる。
論文 参考訳（メタデータ） (2020-03-02T04:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。