論文の概要: Federated Modality-specific Encoders and Partially Personalized Fusion Decoder for Multimodal Brain Tumor Segmentation

• arxiv url: http://arxiv.org/abs/2603.04887v1
• Date: Thu, 05 Mar 2026 07:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.114321
• Title: Federated Modality-specific Encoders and Partially Personalized Fusion Decoder for Multimodal Brain Tumor Segmentation
• Title（参考訳）: マルチモーダル脳腫瘍切離のためのフェデレーションモード特異的エンコーダと部分パーソナライズドフュージョンデコーダ
• Authors: Hong Liu, Dong Wei, Qian Dai, Xian Wu, Yefeng Zheng, Liansheng Wang,
• Abstract要約: 本研究は,共振モード特異的エンコーダと部分パーソナライズされたマルチモーダルフュージョンデコーダを備えた新しいFLフレームワークを提案する。 FedMEPDは、BraTS 2018と2020のマルチモーダル脳腫瘍セグメンテーションベンチマークで検証されている。
• 参考スコア（独自算出の注目度）: 42.69983276114173
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most existing federated learning (FL) methods for medical image analysis only considered intramodal heterogeneity, limiting their applicability to multimodal imaging applications. In practice, some FL participants may possess only a subset of the complete imaging modalities, posing intermodal heterogeneity as a challenge to effectively training a global model on all participants' data. Meanwhile, each participant expects a personalized model tailored to its local data characteristics in FL. This work proposes a new FL framework with federated modality-specific encoders and partially personalized multimodal fusion decoders (FedMEPD) to address the two concurrent issues. Specifically, FedMEPD employs an exclusive encoder for each modality to account for the intermodal heterogeneity. While these encoders are fully federated, the decoders are partially personalized to meet individual needs -- using the discrepancy between global and local parameter updates to dynamically determine which decoder filters are personalized. Implementation-wise, a server with full-modal data employs a fusion decoder to fuse representations from all modality-specific encoders, thus bridging the modalities to optimize the encoders via backpropagation. Moreover, multiple anchors are extracted from the fused multimodal representations and distributed to the clients in addition to the model parameters. Conversely, the clients with incomplete modalities calibrate their missing-modal representations toward the global full-modal anchors via scaled dot-product cross-attention, making up for the information loss due to absent modalities. FedMEPD is validated on the BraTS 2018 and 2020 multimodal brain tumor segmentation benchmarks. Results show that it outperforms various up-to-date methods for multimodal and personalized FL, and its novel designs are effective.
• Abstract（参考訳）: 医用画像解析のための既存のフェデレートラーニング (FL) 法は, モーダル内不均一性のみを考慮し, マルチモーダルイメージングへの適用性を制限している。 実際には、一部のFL参加者は完全な画像モダリティのサブセットしか持たず、すべての参加者のデータでグローバルモデルを効果的に訓練するための課題として、モーダル間不均一性(intermodal heterogeneity)を呈している。 一方、各参加者はFLのローカルデータ特性に合わせてパーソナライズされたモデルを期待する。 本研究は,FedMEPD(Fed Personal Personal Multimodal fusion Decoder)とFedMEPD(Fed Personal Personal Multimodal fusion Decoder)を併用した新しいFLフレームワークを提案する。 具体的には、FedMEPDは、モーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを用いる。 これらのエンコーダは完全にフェデレーションされているが、デコーダは個々のニーズを満たすために部分的にパーソナライズされている。グローバルとローカルのパラメータ更新の相違を利用して、デコーダフィルタがパーソナライズされているかを動的に決定する。 実装面では、フルモーダルデータを持つサーバは、フュージョンデコーダを使用して、すべてのモダリティ固有のエンコーダから表現を融合し、モダリティをブリッジして、バックプロパゲーションを通じてエンコーダを最適化する。 さらに、融合したマルチモーダル表現から複数のアンカーを抽出し、モデルパラメータに加えてクライアントに分散する。 逆に、不完全なモダリティを持つクライアントは、スケールしたドット積のクロスアテンションを通じて、グローバルなフルモーダルアンカーに対する不完全なモダリティ表現を調整し、不完全なモダリティによる情報損失を補う。 FedMEPDは、BraTS 2018と2020のマルチモーダル脳腫瘍セグメンテーションベンチマークで検証されている。 その結果、マルチモーダルかつパーソナライズされたFLの様々な最新手法よりも優れており、その斬新な設計が効果的であることがわかった。

関連論文リスト

• Amplifying Prominent Representations in Multimodal Learning via Variational Dirichlet Process [55.91649771370862]
  ディリクレ過程(DP)混合モデルは、最も顕著な特徴を増幅できる強力な非パラメトリック法である。 本稿では,DP駆動型マルチモーダル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-23T16:53:24Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• Mix-modal Federated Learning for MRI Image Segmentation [21.03432726238057]
  我々はまず,フェデレートラーニング(FL)の新しいパラダイムとして,非集中型混合モードMRI画像セグメンテーションを定式化する。 本稿では,MRI画像分割のためのMDM-MixMFL(mix-modal federated learning framework)を提案する。
  論文  参考訳（メタデータ） (2025-09-02T17:43:51Z)
• AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation [2.8498944632323755]
  臨床実践において、フルイメージングは必ずしも実現可能ではなく、多くの場合、複雑な取得プロトコル、厳格なプライバシ規則、特定の臨床ニーズのためである。 有望な解決策は、利用可能なものから欠落したモダリティが生成されるデータ計算の欠如である。 適応多モード拡散ネットワーク (AMM-Diff) を提案する。
  論文  参考訳（メタデータ） (2025-01-22T12:29:33Z)
• Spectrum-based Modality Representation Fusion Graph Convolutional Network for Multimodal Recommendation [7.627299398469962]
  本稿では,新しいスペクトルベースのモダリティ表現グラフレコメンデータを提案する。 モダリティノイズを同時に抑制しながら、ユニモーダルとフュージョンの両方の好みを捉えることを目的としている。 実世界の3つのデータセットを用いた実験により,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2024-12-19T15:53:21Z)
• StitchFusion: Weaving Any Visual Modalities to Enhance Multimodal Semantic Segmentation [63.31007867379312]
  我々は,大規模な事前学習モデルを直接エンコーダや機能フューザとして統合するフレームワークであるStitchFusionを提案する。 我々は,エンコーディング中に多方向アダプタモジュール(MultiAdapter)を導入し,モーダル間情報転送を実現する。 本モデルは,最小限の追加パラメータを持つ4つのマルチモーダルセグメンテーションデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-02T15:41:16Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation [29.584319651813754]
  FedMEMA (Federated modality-specific encoder) とマルチモーダルアンカー (Multimal anchors) が提案されている。 FedMEMAは、モーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを使用する。 FedMEMAは、マルチモーダル脳腫瘍セグメンテーションのためのBraTS 2020ベンチマークで検証されている。
  論文  参考訳（メタデータ） (2024-03-18T14:02:53Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。