論文の概要: M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis

• arxiv url: http://arxiv.org/abs/2604.01667v1
• Date: Thu, 02 Apr 2026 06:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.47512
• Title: M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis
• Title（参考訳）: M3D-BFS: サンプル適応型マルチモード脳ネットワーク解析のための多段階動的融合戦略
• Authors: Rui Dong, Xiaotong Zhang, Jiaxing Li, Yueying Li, Jiayin Wei, Youyong Kong,
• Abstract要約: サンプル適応型マルチモーダル脳ネットワーク解析のための多段階動的融合戦略(M3D-BFS)を提案する。 他の静的融合法とは異なり、我々はユニモーダルおよびマルチモーダル表現のための異なる混合実験(MoEs)を設計する。 これはマルチモーダル脳ネットワーク解析のための動的融合のための最初の研究である。
• 参考スコア（独自算出の注目度）: 28.074910364701054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal fusion is of great significance in neuroscience which integrates information from different modalities and can achieve better performance than uni-modal methods in downstream tasks. Current multi-modal fusion methods in brain networks, which mainly focus on structural connectivity (SC) and functional connectivity (FC) modalities, are static in nature. They feed different samples into the same model with identical computation, ignoring inherent difference between input samples. This lack of sample adaptation hinders model's further performance. To this end, we innovatively propose a multi-stage dynamic fusion strategy (M3D-BFS) for sample-adaptive multi-modal brain network analysis. Unlike other static fusion methods, we design different mixture-of-experts (MoEs) for uni- and multi-modal representations where modules can adaptively change as input sample changes during inference. To alleviate issue of MoE where training of experts may be collapsed, we divide our method into 3 stages. We first train uni-modal encoders respectively, then pretrain single experts of MoEs before finally finetuning the whole model. A multi-modal disentanglement loss is designed to enhance the final representations. To the best of our knowledge, this is the first work for dynamic fusion for multi-modal brain network analysis. Extensive experiments on different real-world datasets demonstrates the superiority of M3D-BFS.
• Abstract（参考訳）: マルチモーダル融合は、異なるモーダルからの情報を統合し、下流タスクにおけるユニモーダル法よりも優れたパフォーマンスを達成する神経科学において非常に重要である。 脳ネットワークにおける現在のマルチモーダル融合法は、構造接続(SC)と機能接続(FC)モダリティに重点を置いており、本質的に静的である。 彼らは異なるサンプルを同じ計算で同じモデルに供給し、入力サンプル間の固有の差異を無視します。 このサンプル適応の欠如は、モデルのさらなるパフォーマンスを妨げる。 そこで本研究では,サンプル適応型マルチモーダル脳ネットワーク解析のための多段階動的融合戦略(M3D-BFS)を革新的に提案する。 他の静的融合法とは異なり、モジュールが推論中に入力サンプルの変化に応じて適応的に変化できるユニモーダル表現のための異なる混合実験(MoEs)を設計する。 専門家の訓練が崩壊する可能性のあるMoEの問題を軽減するため,本手法を3段階に分けた。 まず、まずユニモーダルエンコーダを訓練し、次にMoEのシングルエキスパートを訓練し、最後にモデル全体を微調整します。 最終的な表現を強化するために、マルチモーダルなアンタングルメント損失を設計する。 我々の知る限りでは、これはマルチモーダル脳ネットワーク解析のための動的融合のための最初の研究である。 異なる実世界のデータセットに対する大規模な実験は、M3D-BFSの優位性を示している。

関連論文リスト

• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Multimodal Multi-loss Fusion Network for Sentiment Analysis [3.8611070161950902]
  本稿では,複数のモードにまたがる特徴エンコーダの最適選択と融合について検討し,感情検出を改善する。 我々は、異なる融合法を比較し、マルチモダリティ融合ネットワークにおけるマルチロストレーニングの影響について検討する。 コンテキストの統合はモデルの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-01T03:54:27Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
  本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。 共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
  論文  参考訳（メタデータ） (2022-12-19T23:50:19Z)
• Multimodal Channel-Mixing: Channel and Spatial Masked AutoEncoder on Facial Action Unit Detection [12.509298933267225]
  本稿では,MCM(Multimodal Channel-Mixing)と呼ばれる新しいマルチモーダル再構成ネットワークを提案する。 このアプローチは、Channel-Mixingモジュールを統合して、5つのうち2つをランダムにドロップする、初期の融合設定に従っている。 このモジュールはチャネルの冗長性を低下させるだけでなく、マルチモーダル学習と再構成機能も促進し、ロバストな特徴学習をもたらす。
  論文  参考訳（メタデータ） (2022-09-25T15:18:56Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。