論文の概要: Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2602.02784v1
• Date: Mon, 02 Feb 2026 20:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.075694
• Title: Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習におけるマルチモーダル生理信号の相互注意融合(CTAF)
• Authors: Arian Khorasani, Théophile Demazure,
• Abstract要約: クロステンポラル・アテンション・フュージョン (CTAF) は、モーダル間のソフトな双方向のアライメントを学習する自己制御モジュールである。 CTAFは一致したペアに対してコサインマージンを高くし、1秒以内にクロスモーダルトークン検索を改善する。 我々の貢献は、対応を直接モデル化する時間認識融合機構、脳波や生理学に合わせたアライメント駆動型自己監督型目標、アライメント品質自体を計測する評価プロトコルである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study multimodal affect modeling when EEG and peripheral physiology are asynchronous, which most fusion methods ignore or handle with costly warping. We propose Cross-Temporal Attention Fusion (CTAF), a self-supervised module that learns soft bidirectional alignments between modalities and builds a robust clip embedding using time-aware cross attention, a lightweight fusion gate, and alignment-regularized contrastive objectives with optional weak supervision. On the K-EmoCon dataset, under leave-one-out cross-validation evaluation, CTAF yields higher cosine margins for matched pairs and better cross-modal token retrieval within one second, and it is competitive with the baseline on three-bin accuracy and macro-F1 while using few labels. Our contributions are a time-aware fusion mechanism that directly models correspondence, an alignment-driven self-supervised objective tailored to EEG and physiology, and an evaluation protocol that measures alignment quality itself. Our approach accounts for the coupling between the central and autonomic nervous systems in psychophysiological time series. These results indicate that CTAF is a strong step toward label-efficient, generalizable EEG-peripheral fusion under temporal asynchrony.
• Abstract（参考訳）: 脳波と周辺生理学が非同期である場合のマルチモーダルな影響モデリングについて検討した。 モーダル間のソフトな双方向アライメントを学習し、時間認識のクロスアテンション、軽量な融合ゲート、およびアライメント規則化されたコントラスト目的を任意に弱い監督で構築する自己教師型モジュールであるCTAFを提案する。 K-EmoConデータセットでは,一致したペアに対するコサインマージンが高く,1秒以内にクロスモーダルトークン検索が向上し,ラベルの少ないまま3ビン精度とマクロF1のベースラインと競合する。 我々の貢献は、対応を直接モデル化する時間認識融合機構、脳波や生理学に合わせたアライメント駆動型自己監督型目標、アライメント品質自体を計測する評価プロトコルである。 我々のアプローチは、精神生理学的時系列における中枢神経系と自律神経系との結合を考慮に入れている。 以上の結果から,CTAFは時間的非同期下でのラベル効率,一般化可能な脳波末梢融合に向けての強力なステップであることが示唆された。

関連論文リスト

• Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
  音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。 HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。 このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
  論文  参考訳（メタデータ） (2025-10-05T09:32:12Z)
• Explainable Deep Neural Network for Multimodal ECG Signals: Intermediate vs Late Fusion [1.1344265020822928]
  マルチモーダルディープニューラルネットワーク(MDNN)は、多様なデータドメインを統合する能力を持ち、堅牢で正確な予測のための有望なソリューションを提供する。 本研究は、ECG信号を用いた中間核融合戦略と後期核融合戦略の比較効果について検討する。
  論文  参考訳（メタデータ） (2025-08-06T16:26:46Z)
• CTPD: Cross-Modal Temporal Pattern Discovery for Enhanced Multimodal Electronic Health Records Analysis [50.56875995511431]
  マルチモーダルEHRデータから有意な時間的パターンを効率的に抽出するために,CTPD(Cross-Modal Temporal Pattern Discovery)フレームワークを導入する。 提案手法では,時間的セマンティックな埋め込みを生成するためにスロットアテンションを用いて改良された時間的パターン表現を提案する。
  論文  参考訳（メタデータ） (2024-11-01T15:54:07Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• MMA-RNN: A Multi-level Multi-task Attention-based Recurrent Neural Network for Discrimination and Localization of Atrial Fibrillation [1.8037893225125925]
  本稿では,多段階マルチタスク・アテンションに基づくリカレントニューラルネットワークを提案する。 このモデルは、情報インタラクションを強化し、エラーの蓄積を減らすためのエンドツーエンドフレームワークとして設計されている。
  論文  参考訳（メタデータ） (2023-02-07T19:59:55Z)
• ECG Heartbeat Classification Using Multimodal Fusion [13.524306011331303]
  本稿では,心電図の心拍数分類のための2つの計算効率の良いマルチモーダル融合フレームワークを提案する。 MFFでは,CNNの垂直層から特徴を抽出し,それらを融合させてユニークかつ相互依存的な情報を得た。 不整脈では99.7%,MIでは99.2%の分類が得られた。
  論文  参考訳（メタデータ） (2021-07-21T03:48:35Z)
• Detecting Pancreatic Ductal Adenocarcinoma in Multi-phase CT Scans via Alignment Ensemble [77.5625174267105]
  膵管腺癌(PDAC)は最も致命的ながんの1つである。 複数のフェーズは単一のフェーズよりも多くの情報を提供するが、それらは整列せず、テクスチャにおいて不均一である。 PDAC検出性能を高めるために,これらすべてのアライメントのアンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-03-18T19:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。