論文の概要: UF-AMA: A unified framework for cross-domain emotion recognition via adaptive multimodal alignment

• arxiv url: http://arxiv.org/abs/2606.00170v1
• Date: Fri, 29 May 2026 12:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.087205
• Title: UF-AMA: A unified framework for cross-domain emotion recognition via adaptive multimodal alignment
• Title（参考訳）: UF-AMA:適応型マルチモーダルアライメントによるクロスドメイン感情認識のための統合フレームワーク
• Abstract要約: クロスオブジェクトおよびクロスセッション感情認識に対処するために,適応型マルチモーダルアライメント付き統一フレームワーク (UF-AMA) を提案する。 UF-AMAは、クロスオブジェクトタスクとクロスセッションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 9.928876781046894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, emotion recognition based on physiological signals such as electroencephalogram (EEG) has gained considerable attention, as internal physiological data offer greater objectivity and reliability compared to external behavioral data like facial expressions. However, due to distribution shifts caused by individual and contextual differences, along with variations in sample quality across modalities, constructing a cross-domain multimodal emotion recognition model with high generalization and robustness remains a key challenge. In this study, we propose a Unified Framework with Adaptive Multimodal Alignment (UF-AMA) to address cross-subject and cross-session emotion recognition using multimodal physiological signals. First, we construct a cross-modal feature fusion network comprising Transformer encoders and multi-head cross-attention modules, enabling the deep integration of EEG signals and eye-tracking data. Subsequently, we introduce a confidence-aware screening mechanism that dynamically assesses the predictive reliability of each modality branch on target domain samples, partitions samples into different quality subsets, and accordingly applies global consistency alignment and cross-modal distillation. Finally, we propose a multi-level domain adaptation framework that jointly optimizes the marginal and conditional distributions of both local modality-specific and global fusion features, thereby reducing cross-domain distribution shifts at multiple granularities. Extensive experiments on the SEED and SEED-IV datasets demonstrate that UF-AMA achieves state-of-the-art (SOTA) performance in both cross-subject and cross-session tasks. The source code is available at: https://github.com/BetterCoderLab/UF-AMA.
• Abstract（参考訳）: 近年,脳波(EEG)などの生理的信号に基づく感情認識が注目されている。 しかし,個人差や文脈差による分布変化,モダリティ間のサンプル品質の変化などにより,高一般化と堅牢性を備えたクロスドメインマルチモーダル感情認識モデルの構築は依然として重要な課題である。 本研究では,適応型マルチモーダルアライメント(UF-AMA)を用いた統合フレームワークを提案する。 まず,トランスフォーマーエンコーダとマルチヘッドクロスアテンションモジュールで構成されるクロスモーダル機能融合ネットワークを構築し,脳波信号とアイトラッキングデータの深い統合を可能にする。 続いて,本研究では,対象ドメインサンプルに対する各モダリティ分岐の予測信頼性を動的に評価し,サンプルを異なる品質サブセットに分割し,大域的整合性とクロスモーダル蒸留を適用した信頼性認識スクリーニング機構を提案する。 最後に,局所的モダリティ特性と大域的融合特性の両方の限界分布と条件分布を協調的に最適化し,複数の粒度の領域間分布シフトを低減する多層ドメイン適応フレームワークを提案する。 SEEDとSEED-IVデータセットの大規模な実験により、UF-AMAは、クロスオブジェクトタスクとクロスセッションタスクの両方で、最先端(SOTA)のパフォーマンスを達成することが示された。 ソースコードは、https://github.com/BetterCoderLab/UF-AMA.comで入手できる。

関連論文リスト

• SuppreSensing: Expert-Guided Feature Recalibration and Discrepancy Augmentation for Multimodal Object Detection [19.446402308279676]
  本稿では,多モード融合を選択的協調プロセスとして再構成するSuppreSensingを提案する。 SupreSensingは、最初にExpert-driven Multimodal Feature Recalibration (EMFR)モジュールを設計した。 モーダリティ固有の拡張戦略を用いて、特定のモーダリティの特徴を属性とする。 DroneVehicleとVEDAIデータセットの実験は、SuppreSensingが最先端の検出パフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2026-08-21T10:06:00Z)
• AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
  LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。 本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。 AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
  論文  参考訳（メタデータ） (2026-04-14T13:49:19Z)
• MOSAIC: Multi-Domain Orthogonal Session Adaptive Intent Capture for Prescient Recommendations [0.0]
  セッションベースのレコメンデータシステムでは、不均一な振る舞いドメインをまたいだユーザインテントのキャプチャが難しい。 マルチドメイン直交セッション適応インテントキャプチャフレームワークMOSAICを提案する。 我々は、複数のドメインと相互作用タイプにまたがる2つの大規模な実世界のベンチマーク実験を行う。
  論文  参考訳（メタデータ） (2026-04-11T10:33:12Z)
• Local-Global Feature Fusion for Subject-Independent EEG Emotion Recognition [5.248014945077116]
  我々は,(i)ローカルなチャネルワイドな記述子と(ii)グローバルなトライアルレベルの記述子を統合した融合フレームワークを提案する。 試行錯誤プロトコルによる実験は,提案手法が単一ビューと古典的ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-01-13T00:27:01Z)
• DAMSDAN: Distribution-Aware Multi-Source Domain Adaptation Network for Cross-Domain EEG-based Emotion Recognition [19.010493629153288]
  感情認識のための分散型マルチソースドメイン適応ネットワーク(DAMSDAN)を提案する。 DAMSDANは、プロトタイプベースの制約と敵対学習を統合して、エンコーダを識別的、ドメイン不変な感情表現へと駆動する。 SEEDとSEED-IVの実験では、クロスオブジェクトは平均94.86%、79.78%、クロスセッションプロトコルは95.12%、83.15%である。
  論文  参考訳（メタデータ） (2025-10-20T12:18:46Z)
• Multisource Collaborative Domain Generalization for Cross-Scene Remote Sensing Image Classification [57.945437355714155]
  クロスシーン画像分類は, 異なる分布領域のアノテート領域に, 地中物質の事前の知識を伝達することを目的としている。 既存のアプローチでは、未確認のターゲットドメインへの単一ソースドメインの一般化に重点を置いている。 マルチソースリモートセンシングデータの均一性と不均一性特性に基づく,新しいマルチソース協調型ドメイン一般化フレームワーク(MS-CDG)を提案する。
  論文  参考訳（メタデータ） (2024-12-05T06:15:08Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• TACOformer:Token-channel compounded Cross Attention for Multimodal Emotion Recognition [0.951828574518325]
  本稿では,チャネルレベルとトークンレベルの相互通信を統合したマルチモーダル融合の包括的視点を提案する。 具体的には,Token-chAnnel Compound (TACO) Cross Attentionというクロスアテンションモジュールを導入する。 また,脳波信号チャネルの空間分布に関する情報を保存するための2次元位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2023-06-23T16:28:12Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。