論文の概要: MUPA$^{2}$E: Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment

• arxiv url: http://arxiv.org/abs/2608.15999v1
• Date: Mon, 17 Aug 2026 01:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.497363
• Title: MUPA$^{2}$E: Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment
• Title（参考訳）: MUPA$^{2}$E:Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment
• Abstract要約: 本稿では,顔画像と脳波(EEG)を処理する統合認識フレームワークMUPAtextsuperscript2Eについて述べる。 顔映像は軸折りフレームトークンで表現され、EEGは生のマルチチャネル波形として処理されるか、空間領域に投影される。 試用期間が短くなると30ドル(約3万3000円)で融合し、検証性能が最高、テスト精度が70.07%(約7万7000円)になる。
• 参考スコア（独自算出の注目度）: 4.682152272555128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic emotion assessment can benefit from combining neural and behavioral signals, but many multimodal approaches rely on separate, modality-specific feature-extraction pipelines before fusion. This paper presents MUPA\textsuperscript{2}E, a unified perception framework that processes facial video and electroencephalography (EEG) through a single shared asymmetric-attention backbone. Facial video is represented through axis-folded frame tokens, while EEG is processed either as a raw multichannel waveform or projected into the spatial domain for multimodal fusion. The framework is evaluated on the DMER dataset under a stratified subject-independent protocol, comparing unimodal video, unimodal EEG, and fused video--EEG configurations with per-channel and merged EEG projections. Using the original recordings, with shorter trials zero-padded to match the longest duration, merged fusion at stride~$30$ achieves the highest validation performance and a test accuracy of $70.07\%$. Further analysis revealed that recording duration is unevenly distributed across the affective classes, making the padding pattern a potential classification cue. Controlling for this factor by cropping all recordings to a common duration of $20$ seconds yielded a test accuracy of $62.71\%$, providing a stricter duration-controlled assessment of the framework in which differences in recording length are removed as a potential classification cue. These findings demonstrate the feasibility of processing structurally different neural and visual signals within a compact unified architecture while highlighting the importance of controlling duration-related cues in affective datasets.
• Abstract（参考訳）: 自動感情評価は、神経信号と行動信号を組み合わせることで恩恵を受けるが、多くのマルチモーダルアプローチは、融合前に別々に、モダリティ固有の特徴抽出パイプラインに依存している。 本稿では,顔画像と脳波(EEG)を処理する統合認識フレームワークMUPA\textsuperscript{2}Eについて述べる。 顔映像は軸折りフレームトークンで表現され、EEGは生のマルチチャネル波形として処理されるか、空間領域に投影される。 このフレームワークは, DMERデータセット上で, 単調なビデオ, 単調な脳波, 融合した脳波構成とチャネルごとのEEGプロジェクションとを比較し, 階層化された主題に依存しないプロトコルで評価する。 試用期間が長くなるようにゼロパッドの短いオリジナル録音を用いて、30ドル～30ドル(約3万3000円)で融合すると、高い検証性能とテスト精度が70.07\%(約7万7000円)となる。 さらに分析した結果, 記録期間は感情クラスに不均一に分散し, パディングパターンを潜在的分類キューとした。 すべての記録を20ドル秒の共通時間にトリミングすることでこの要因を制御し、テスト精度は62.71ドル%となり、記録長の違いを潜在的な分類のキューとして除去するフレームワークのより厳密な期間制御評価が可能となった。 これらの結果は、コンパクトな統一アーキテクチャにおいて、構造的に異なるニューラル信号と視覚信号の処理が可能であることを示し、感情的データセットにおける持続時間に関連する手がかりを制御することの重要性を強調した。

関連論文リスト

• Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition [0.9297355862757838]
  PRISM-AHはA/Hを時間とともに展開するマルチモーダルコンフリクトとして扱うフレームワークである。 知識誘導型大規模言語モデルは、データセットの専門的な分類法を用いて、構造化された証拠を理由づける。 525ビデオのラベル付き公開テストパーティションでは、PRISM-AHは0.2827のゼロショットベースラインと比較して0.6133のマクロF1を達成する。
  論文  参考訳（メタデータ） (2026-07-28T16:44:38Z)
• Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection [15.9620440408998]
  本稿では,時間セグメントモデリングを多モーダル大言語モデルと統合する認識フレームワークを提案する。 セグメントベースの戦略を採用し、動画を最大5秒の短いクリップに分割する。 実験結果から,提案手法の精度は85.1%であった。
  論文  参考訳（メタデータ） (2026-03-12T08:31:42Z)
• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning [0.0]
  クロステンポラル・アテンション・フュージョン (CTAF) は、モーダル間のソフトな双方向のアライメントを学習する自己制御モジュールである。 CTAFは一致したペアに対してコサインマージンを高くし、1秒以内にクロスモーダルトークン検索を改善する。 我々の貢献は、対応を直接モデル化する時間認識融合機構、脳波や生理学に合わせたアライメント駆動型自己監督型目標、アライメント品質自体を計測する評価プロトコルである。
  論文  参考訳（メタデータ） (2026-02-02T20:40:04Z)
• Digital FAST: An AI-Driven Multimodal Framework for Rapid and Early Stroke Screening [0.7136933021609076]
  本研究では,F.A.S.T.アセスメントで収集したデータをもとに,高速かつ非侵襲的な2次脳卒中自動スクリーニングのための多モード深層学習フレームワークを提案する。 提案手法は, 表情, 音声信号, 上体動作からの相補的な情報を統合し, 診断の堅牢性を高める。
  論文  参考訳（メタデータ） (2026-01-17T03:35:39Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• EEG-SCMM: Soft Contrastive Masked Modeling for Cross-Corpus EEG-Based Emotion Recognition [0.862468061241377]
  クロスコーパス脳波に基づく感情認識の課題を解決するために,ソフトコントラスト・マスクド・モデリング(SCMM)と呼ばれる新しいフレームワークを提案する。 SCMMは、ソフトコントラスト学習とハイブリッドマスキング戦略を統合し、感情力学を効果的に捉える。 実験では、SCMMは、同じクラスと異なるクラスのクロスコーパス設定の両方で平均4.26%の精度を達成する。
  論文  参考訳（メタデータ） (2024-08-17T12:35:13Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Multiple Time Series Fusion Based on LSTM An Application to CAP A Phase Classification Using EEG [56.155331323304]
  本研究では,深層学習に基づく脳波チャンネルの特徴レベル融合を行う。 チャネル選択,融合,分類手順を2つの最適化アルゴリズムで最適化した。
  論文  参考訳（メタデータ） (2021-12-18T14:17:49Z)
• Generalizing electrocardiogram delineation: training convolutional neural networks with synthetic data augmentation [63.51064808536065]
  ECGのデライン化のための既存のデータベースは小さく、サイズやそれらが表す病態の配列に不足している。 まず、原データベースから抽出した基本セグメントのプールを与えられたECGトレースを確率的に合成し、その整合性のある合成トレースに配置するための一連のルールを考案した。 第二に、2つの新しいセグメンテーションに基づく損失関数が開発され、これは、正確な数の独立構造の予測を強制し、サンプル数の削減に焦点をあてて、より密接なセグメンテーション境界を創出することを目的としている。
  論文  参考訳（メタデータ） (2021-11-25T10:11:41Z)
• $M^3$T: Multi-Modal Continuous Valence-Arousal Estimation in the Wild [86.40973759048957]
  本報告では、ABAW(Affective Behavior Analysis in-the-wild)チャレンジの価-覚醒的評価トラックへの提案に基づくマルチモーダルマルチタスク(M3$T)アプローチについて述べる。 提案したM3$Tフレームワークでは,ビデオの視覚的特徴とオーディオトラックの音響的特徴の両方を融合させて,有声度と覚醒度を推定する。 ABAW が提供する検証セットに対して,M3$T フレームワークを評価し,ベースライン法を著しく上回る性能を示した。
  論文  参考訳（メタデータ） (2020-02-07T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。