論文の概要: SCDM: Unified Representation Learning for EEG-to-fNIRS Cross-Modal Generation in MI-BCIs

• arxiv url: http://arxiv.org/abs/2407.04736v1
• Date: Mon, 1 Jul 2024 13:37:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 14:29:03.400422
• Title: SCDM: Unified Representation Learning for EEG-to-fNIRS Cross-Modal Generation in MI-BCIs
• Title（参考訳）: SCDM:MI-BCIにおけるEEG-to-fNIRSクロスモーダル生成のための統一表現学習
• Authors: Yisheng Li, Shuqiang Wang,
• Abstract要約: ハイブリッドモーター脳-コンピュータインタフェース(MI-BCI)は、脳波(EEG)と機能近赤外分光(fNIRS)の両方を統合している。 脳波とfNIRS信号を同時に記録することは、両方のセンサーを同一の頭皮上に置くのが難しいため、非常に難しい。 本研究では,脳波からfNIRSへのクロスモーダル生成のためのフレームワークとして,空間時間制御拡散画像モデル(SCDM)を提案する。
• 参考スコア（独自算出の注目度）: 6.682531937245544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid motor imagery brain-computer interfaces (MI-BCIs), which integrate both electroencephalography (EEG) and functional near-infrared spectroscopy (fNIRS) signals, outperform those based solely on EEG. However, simultaneously recording EEG and fNIRS signals is highly challenging due to the difficulty of colocating both types of sensors on the same scalp surface. This physical constraint complicates the acquisition of high-quality hybrid signals, thereby limiting the widespread application of hybrid MI-BCIs. To facilitate the acquisition of hybrid EEG-fNIRS signals, this study proposes the spatio-temporal controlled diffusion model (SCDM) as a framework for cross-modal generation from EEG to fNIRS. The model utilizes two core modules, the spatial cross-modal generation (SCG) module and the multi-scale temporal representation (MTR) module, which adaptively learn the respective latent temporal and spatial representations of both signals in a unified representation space. The SCG module further maps EEG representations to fNIRS representations by leveraging their spatial relationships. Experimental results show high similarity between synthetic and real fNIRS signals. The joint classification performance of EEG and synthetic fNIRS signals is comparable to or even better than that of EEG with real fNIRS signals. Furthermore, the synthetic signals exhibit similar spatio-temporal features to real signals while preserving spatial relationships with EEG signals. Experimental results suggest that the SCDM may represent a promising paradigm for the acquisition of hybrid EEG-fNIRS signals in MI-BCI systems.
• Abstract（参考訳）: 脳波(EEG)と機能近赤外分光(fNIRS)の両方を統合したハイブリッドモーター画像脳コンピュータインタフェース(MI-BCI)は、脳波のみに基づく脳波よりも優れている。 しかし、脳波とfNIRS信号の同時記録は、両方のセンサを同一の頭皮表面に配置することが困難であるため、非常に困難である。 この物理的制約は、高品質なハイブリッド信号の取得を複雑にし、ハイブリッドMI-BCIの広範な適用を制限する。 ハイブリッドEEG-fNIRS信号の取得を容易にするため,脳波からfNIRSへのクロスモーダル生成のためのフレームワークとして,時空間制御拡散モデル(SCDM)を提案する。 このモデルは、空間的クロスモーダル生成(SCG)モジュールとマルチスケール時空間表現(MTR)モジュールの2つのコアモジュールを使用し、両信号のそれぞれの潜時空間および空間表現を統一表現空間で適応的に学習する。 SCGモジュールはさらに、その空間的関係を利用して、EEG表現をfNIRS表現にマッピングする。 実験結果から,合成fNIRS信号と実fNIRS信号との類似性が高いことがわかった。 脳波と合成fNIRS信号の同時分類性能は、実際のfNIRS信号と同等かそれ以上である。 さらに, 合成信号は, 脳波信号との空間的関係を保ちながら, 実信号と時空間的類似性を示す。 実験結果から、SCDMはMI-BCIシステムにおけるハイブリッドEEG-fNIRS信号の取得に有望なパラダイムである可能性が示唆された。

関連論文リスト

• Feature Selection via Dynamic Graph-based Attention Block in MI-based EEG Signals [0.0]
  脳-コンピュータインタフェース(BCI)技術は、脳信号を分析して人間とコンピュータの直接的な相互作用を可能にする。 脳波信号は、しばしば低信号対雑音比、生理的アーティファクト、および個々の変数の影響を受けており、異なる特徴を抽出する際の課題を表している。 また、運動画像(MI)に基づく脳波信号には、MI特性との相関が低い特徴が含まれており、深部モデルの重みがそれらの特徴に偏っている可能性がある。
  論文  参考訳（メタデータ） (2024-10-31T00:53:29Z)
• EEG-EMG FAConformer: Frequency Aware Conv-Transformer for the fusion of EEG and EMG [0.0]
  運動パターン認識パラダイムは、運動機能回復を目的としたBrain-Computer Interfaceの主要な形態である。 筋電図(EMG)信号は、運動の実行を評価する最も直接的な生理的信号である。 脳波とEMG信号に対するマルチモーダル動作パターン認識アルゴリズム:EEG-EMG FAConformerを提案する。
  論文  参考訳（メタデータ） (2024-09-12T14:08:56Z)
• You Only Acquire Sparse-channel (YOAS): A Unified Framework for Dense-channel EEG Generation [7.507775056200206]
  スパースチャネル脳波信号から高密度チャネルデータを生成するためのフレームワークを開発する。 YOASは、データ準備、データ前処理、バイアスドEEG生成、合成EEG生成の4段階からなる。 疎チャネルデータから高密度チャネルEEG信号を生成するこのブレークスルーは、EEG信号処理と応用の新たな道を開く。
  論文  参考訳（メタデータ） (2024-06-21T16:04:14Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Topology of Surface Electromyogram Signals: Hand Gesture Decoding on Riemannian Manifolds [0.0]
  非侵襲的な表面筋電図(sEMG)信号を用いた上肢からのジェスチャーの復号化は、アンプの再生、人工上肢増強、コンピュータのジェスチャー制御、仮想/拡張現実性に強い関心を持つ。 前腕周辺の複数の空間的位置にあるセンサ電極の配列に記録されたsEMG信号は、手の動きの区別に活用できる、大域運動単位(MU)のリッチな幾何学的パターンを示す。
  論文  参考訳（メタデータ） (2023-11-14T21:20:54Z)
• DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
  AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。 現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。 本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T13:43:46Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition [63.07844685982738]
  本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。 LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。 提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-17T09:46:59Z)
• Motor Imagery Classification of Single-Arm Tasks Using Convolutional Neural Network based on Feature Refining [5.620334754517149]
  運動画像(MI)は、信号の発端から運動機能の回復や回復に一般的に用いられる。 本研究では,BFR-CNN(Band-power Feature Refining Convolutional Neural Network)を提案する。
  論文  参考訳（メタデータ） (2020-02-04T04:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。