Fugu-MT 論文翻訳(概要): Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation

論文の概要: Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation

arxiv url: http://arxiv.org/abs/2403.11803v1
Date: Mon, 18 Mar 2024 14:02:53 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 20:19:57.320211
Title: Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation
Title（参考訳）: パーソナライズされた脳腫瘍切片に対するフェデレーションモード特異的エンコーダとマルチモーダルアンカー
Authors: Qian Dai, Dong Wei, Hong Liu, Jinghan Sun, Liansheng Wang, Yefeng Zheng,
Abstract要約: FedMEMA (Federated modality-specific encoder) とマルチモーダルアンカー (Multimal anchors) が提案されている。 FedMEMAは、モーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを使用する。 FedMEMAは、マルチモーダル脳腫瘍セグメンテーションのためのBraTS 2020ベンチマークで検証されている。
参考スコア（独自算出の注目度）: 29.584319651813754
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Most existing federated learning (FL) methods for medical image analysis only considered intramodal heterogeneity, limiting their applicability to multimodal imaging applications. In practice, it is not uncommon that some FL participants only possess a subset of the complete imaging modalities, posing inter-modal heterogeneity as a challenge to effectively training a global model on all participants' data. In addition, each participant would expect to obtain a personalized model tailored for its local data characteristics from the FL in such a scenario. In this work, we propose a new FL framework with federated modality-specific encoders and multimodal anchors (FedMEMA) to simultaneously address the two concurrent issues. Above all, FedMEMA employs an exclusive encoder for each modality to account for the inter-modal heterogeneity in the first place. In the meantime, while the encoders are shared by the participants, the decoders are personalized to meet individual needs. Specifically, a server with full-modal data employs a fusion decoder to aggregate and fuse representations from all modality-specific encoders, thus bridging the modalities to optimize the encoders via backpropagation reversely. Meanwhile, multiple anchors are extracted from the fused multimodal representations and distributed to the clients in addition to the encoder parameters. On the other end, the clients with incomplete modalities calibrate their missing-modal representations toward the global full-modal anchors via scaled dot-product cross-attention, making up the information loss due to absent modalities while adapting the representations of present ones. FedMEMA is validated on the BraTS 2020 benchmark for multimodal brain tumor segmentation. Results show that it outperforms various up-to-date methods for multimodal and personalized FL and that its novel designs are effective. Our code is available.
Abstract（参考訳）: 医用画像解析のための既存のフェデレートラーニング (FL) 法の多くは、モーダル内不均一性のみを考慮し、マルチモーダルイメージングへの応用に限定している。実際には、一部のFL参加者が完全な画像モダリティのサブセットしか持たないことは珍しくなく、すべての参加者のデータに基づいてグローバルモデルを効果的に訓練するための課題として、モーダル間不均一性(inter-modal heterogeneity)を呈している。さらに、各参加者は、このようなシナリオでFLからローカルデータの特徴に合わせたパーソナライズされたモデルを得ることを期待している。本研究では,2つの並列問題に同時に対処するため,FedMEMA(FedMEMA)とFedMEMA(FedMEMA)を組み合わせた新しいFLフレームワークを提案する。とりわけ、FedMEMAは、まずはモーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを使用している。一方、エンコーダは参加者によって共有されるが、デコーダは個々のニーズに合わせてパーソナライズされる。具体的には、フルモーダルデータを持つサーバは、フュージョンデコーダを使用して、すべてのモダリティ固有のエンコーダから表現を集約およびヒューズし、モダリティをブリッジして、バックプロパゲーションを介してエンコーダを最適化する。一方、融合マルチモーダル表現から複数のアンカーを抽出し、エンコーダパラメータに加えてクライアントに分散する。一方、不完全なモダリティを持つクライアントは、スケールしたドット積のクロスアテンションを通じて、グローバルなフルモーダルアンカーに対する不完全なモダリティ表現をキャリブレーションし、現在のモダリティの表現を適用しながら、不完全なモダリティによる情報損失を補う。 FedMEMAは、マルチモーダル脳腫瘍セグメンテーションのためのBraTS 2020ベンチマークで検証されている。その結果、マルチモーダルかつパーソナライズされたFLの様々な最新手法よりも優れており、その新規設計が有効であることがわかった。私たちのコードは利用可能です。

関連論文リスト

MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
論文参考訳（メタデータ） (2025-02-03T08:50:00Z)
AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation [2.8498944632323755]
臨床実践において、フルイメージングは必ずしも実現可能ではなく、多くの場合、複雑な取得プロトコル、厳格なプライバシ規則、特定の臨床ニーズのためである。有望な解決策は、利用可能なものから欠落したモダリティが生成されるデータ計算の欠如である。適応多モード拡散ネットワーク (AMM-Diff) を提案する。
論文参考訳（メタデータ） (2025-01-22T12:29:33Z)
Spectrum-based Modality Representation Fusion Graph Convolutional Network for Multimodal Recommendation [7.627299398469962]
本稿では,新しいスペクトルベースのモダリティ表現グラフレコメンデータを提案する。モダリティノイズを同時に抑制しながら、ユニモーダルとフュージョンの両方の好みを捉えることを目的としている。実世界の3つのデータセットを用いた実験により,提案モデルの有効性が示された。
論文参考訳（メタデータ） (2024-12-19T15:53:21Z)
StitchFusion: Weaving Any Visual Modalities to Enhance Multimodal Semantic Segmentation [63.31007867379312]
我々は,大規模な事前学習モデルを直接エンコーダや機能フューザとして統合するフレームワークであるStitchFusionを提案する。我々は,エンコーディング中に多方向アダプタモジュール(MultiAdapter)を導入し,モーダル間情報転送を実現する。本モデルは,最小限の追加パラメータを持つ4つのマルチモーダルセグメンテーションデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2024-08-02T15:41:16Z)
U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-24T08:58:48Z)
All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
論文参考訳（メタデータ） (2024-05-08T01:04:36Z)
Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
論文参考訳（メタデータ） (2024-04-15T05:40:41Z)
Federated Pseudo Modality Generation for Incomplete Multi-Modal MRI Reconstruction [26.994070472726357]
Fed-PMGは、コミュニケーション効率の高い新しいフェデレーション学習フレームワークである。単一モーダルクライアントごとに欠落したモーダルを復元する擬似モーダル生成機構を提案する。当社のアプローチは, 許容可能な通信コストの範囲内で, 欠落したモダリティを効果的に達成することができる。
論文参考訳（メタデータ） (2023-08-20T03:38:59Z)
Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文参考訳（メタデータ） (2023-03-27T07:07:33Z)
NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation [29.157465321864265]
そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
論文参考訳（メタデータ） (2022-08-31T14:04:25Z)
Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2021-06-30T22:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。