論文の概要: Exploring Diffusion Transformers for Cross-Modal Augmentation in Multimodal Brain State Decoding

• arxiv url: http://arxiv.org/abs/2609.11341v1
• Date: Thu, 10 Sep 2026 10:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.303136
• Title: Exploring Diffusion Transformers for Cross-Modal Augmentation in Multimodal Brain State Decoding
• Title（参考訳）: マルチモーダル脳状態復号におけるクロスモーダル拡張のための拡散変換器の探索
• Abstract要約: CoMA-DiTは、ペア化されたモダリティを、単に融合すべき入力としてではなく、相互生成的監督の源として扱う。 マルチモーダル・アテンション・デコーディングと感情認識の実験では、CoMA-DiTが20のベースラインを一貫して上回る結果が得られた。
• 参考スコア（独自算出の注目度）: 16.06937634283662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal brain state decoding has largely focused on fusing paired modalities for prediction, but has rarely explored how their correspondence can be further exploited to enrich training data and improve multimodal representation learning. To address this gap, we propose CoMA-DiT, a bidirectional cross-modal Diffusion Transformer for latent augmentation that treats paired modalities as sources of mutual generative supervision rather than merely as inputs to be fused. CoMA-DiT conditions velocity prediction on the paired modality through cross-modal attention and adaptively injects the resulting variation via a reliability-gated residual mechanism. Experiments on multimodal auditory attention decoding and emotion recognition showed that CoMA-DiT consistently outperformed 20 representative baselines, achieving absolute gains of 4.28% and 6.70% in accuracy and macro-F1 over the no-augmentation baseline, respectively. Extensive ablation, sensitivity, visualization, and interpretability analyses further demonstrated its robustness, generalizability, and ability to capture functionally relevant cross-modal interactions. These findings support a broader view of multimodal learning: Paired modalities can serve not only as inputs for fusion but also as supervision sources that augment one another.
• Abstract（参考訳）: マルチモーダルな脳状態復号法は、予測のためにペア化されたモダリティを融合させることに主に焦点を合わせてきたが、それらの対応がトレーニングデータを強化し、マルチモーダル表現学習を改善するためにどのように活用されるかは、めったに研究されていない。 このギャップに対処するため,両方向の相互拡散変換器であるCoMA-DiTを提案する。 CoMA-DiT条件は、対のモードの速度予測をクロスモーダルアテンションを通じて行い、信頼性を付与した残差機構を介して結果の変動を適応的に注入する。 マルチモーダル・アテンション・デコーディングと感情認識の実験では、CoMA-DiTは20のベースラインを一貫して上回り、それぞれ4.28%と6.70%の精度を達成し、マクロF1を無増強ベースライン上で達成した。 広範囲にわたるアブレーション、感度、可視化、解釈可能性の分析により、その堅牢性、一般化可能性、そして機能的に関連するクロスモーダル相互作用を捉える能力がさらに証明された。 ペア化されたモダリティは、融合のインプットとしてだけでなく、相互に増強する監督源としても機能する。

関連論文リスト

• RAMamba-Net: A Reliability-Aware and Mamba-Based Multimodal Fusion Network for Auditory Attention Detection [17.489739821644598]
  AAD (Auditory attention decoding) は、参加話者を生理的信号から識別する。 EEGはAADの主要なモダリティであるが、自然主義的なオーディオ視覚シーンでは不完全な証拠を提供する。 AADのためのマルチモーダル・フュージョン・ネットワークであるRAMamba-Netを提案する。
  論文  参考訳（メタデータ） (2026-09-10T11:08:15Z)
• Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration [13.299987551113809]
  グループ認知学習(グループ認知学習、Group Cognition Learning、GCL)は、モダリティ固有の符号化の後に2段階のプロトコルを適用する、管理された協調パラダイムである。 GCLはモダリティの優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を確立する。
  論文  参考訳（メタデータ） (2026-05-01T03:19:34Z)
• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• Feature-level Interaction Explanations in Multimodal Transformers [1.7101146971136896]
  マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。 本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。 我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
  論文  参考訳（メタデータ） (2026-03-04T18:24:31Z)
• Disentangled and Interpretable Multimodal Attention Fusion for Cancer Survival Prediction [0.0]
  癌生存予測を改善するために,Distangled and Interpretable Multimodal Attention Fusion (DIMAF)を提案する。 DIMAFは、注意に基づく融合機構の中で、モダリティ内およびモダリティ間相互作用を分離し、異なるモダリティ固有およびモダリティ共有表現を学習する。 4つの公立がん生存データセットでDIMAFを評価し,約1.85%の成績,23.7%の解離率の相対的な改善を達成した。
  論文  参考訳（メタデータ） (2025-03-20T12:02:10Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。