Fugu-MT 論文翻訳(概要): Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation

論文の概要: Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation

arxiv url: http://arxiv.org/abs/2403.11803v1
Date: Mon, 18 Mar 2024 14:02:53 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 20:19:57.320211
Title: Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation
Title（参考訳）: パーソナライズされた脳腫瘍切片に対するフェデレーションモード特異的エンコーダとマルチモーダルアンカー
Authors: Qian Dai, Dong Wei, Hong Liu, Jinghan Sun, Liansheng Wang, Yefeng Zheng,
Abstract要約: FedMEMA (Federated modality-specific encoder) とマルチモーダルアンカー (Multimal anchors) が提案されている。 FedMEMAは、モーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを使用する。 FedMEMAは、マルチモーダル脳腫瘍セグメンテーションのためのBraTS 2020ベンチマークで検証されている。
参考スコア（独自算出の注目度）: 29.584319651813754
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Most existing federated learning (FL) methods for medical image analysis only considered intramodal heterogeneity, limiting their applicability to multimodal imaging applications. In practice, it is not uncommon that some FL participants only possess a subset of the complete imaging modalities, posing inter-modal heterogeneity as a challenge to effectively training a global model on all participants' data. In addition, each participant would expect to obtain a personalized model tailored for its local data characteristics from the FL in such a scenario. In this work, we propose a new FL framework with federated modality-specific encoders and multimodal anchors (FedMEMA) to simultaneously address the two concurrent issues. Above all, FedMEMA employs an exclusive encoder for each modality to account for the inter-modal heterogeneity in the first place. In the meantime, while the encoders are shared by the participants, the decoders are personalized to meet individual needs. Specifically, a server with full-modal data employs a fusion decoder to aggregate and fuse representations from all modality-specific encoders, thus bridging the modalities to optimize the encoders via backpropagation reversely. Meanwhile, multiple anchors are extracted from the fused multimodal representations and distributed to the clients in addition to the encoder parameters. On the other end, the clients with incomplete modalities calibrate their missing-modal representations toward the global full-modal anchors via scaled dot-product cross-attention, making up the information loss due to absent modalities while adapting the representations of present ones. FedMEMA is validated on the BraTS 2020 benchmark for multimodal brain tumor segmentation. Results show that it outperforms various up-to-date methods for multimodal and personalized FL and that its novel designs are effective. Our code is available.
Abstract（参考訳）: 医用画像解析のための既存のフェデレートラーニング (FL) 法の多くは、モーダル内不均一性のみを考慮し、マルチモーダルイメージングへの応用に限定している。実際には、一部のFL参加者が完全な画像モダリティのサブセットしか持たないことは珍しくなく、すべての参加者のデータに基づいてグローバルモデルを効果的に訓練するための課題として、モーダル間不均一性(inter-modal heterogeneity)を呈している。さらに、各参加者は、このようなシナリオでFLからローカルデータの特徴に合わせたパーソナライズされたモデルを得ることを期待している。本研究では,2つの並列問題に同時に対処するため,FedMEMA(FedMEMA)とFedMEMA(FedMEMA)を組み合わせた新しいFLフレームワークを提案する。とりわけ、FedMEMAは、まずはモーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを使用している。一方、エンコーダは参加者によって共有されるが、デコーダは個々のニーズに合わせてパーソナライズされる。具体的には、フルモーダルデータを持つサーバは、フュージョンデコーダを使用して、すべてのモダリティ固有のエンコーダから表現を集約およびヒューズし、モダリティをブリッジして、バックプロパゲーションを介してエンコーダを最適化する。一方、融合マルチモーダル表現から複数のアンカーを抽出し、エンコーダパラメータに加えてクライアントに分散する。一方、不完全なモダリティを持つクライアントは、スケールしたドット積のクロスアテンションを通じて、グローバルなフルモーダルアンカーに対する不完全なモダリティ表現をキャリブレーションし、現在のモダリティの表現を適用しながら、不完全なモダリティによる情報損失を補う。 FedMEMAは、マルチモーダル脳腫瘍セグメンテーションのためのBraTS 2020ベンチマークで検証されている。その結果、マルチモーダルかつパーソナライズされたFLの様々な最新手法よりも優れており、その新規設計が有効であることがわかった。私たちのコードは利用可能です。

関連論文リスト

StitchFusion: Weaving Any Visual Modalities to Enhance Multimodal Semantic Segmentation [63.31007867379312]
我々は,大規模な事前学習モデルを直接エンコーダや機能フューザとして統合するフレームワークであるStitchFusionを提案する。我々は,エンコーディング中に多方向アダプタモジュール(MultiAdapter)を導入し,モーダル間情報転送を実現する。本モデルは,最小限の追加パラメータを持つ4つのマルチモーダルセグメンテーションデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2024-08-02T15:41:16Z)
U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-24T08:58:48Z)
All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
論文参考訳（メタデータ） (2024-05-08T01:04:36Z)
FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
論文参考訳（メタデータ） (2024-02-24T16:58:42Z)
Cross-Modal Prototype based Multimodal Federated Learning under Severely Missing Modality [31.727012729846333]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。 MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文参考訳（メタデータ） (2024-01-25T02:25:23Z)
Federated Pseudo Modality Generation for Incomplete Multi-Modal MRI Reconstruction [26.994070472726357]
Fed-PMGは、コミュニケーション効率の高い新しいフェデレーション学習フレームワークである。単一モーダルクライアントごとに欠落したモーダルを復元する擬似モーダル生成機構を提案する。当社のアプローチは, 許容可能な通信コストの範囲内で, 欠落したモダリティを効果的に達成することができる。
論文参考訳（メタデータ） (2023-08-20T03:38:59Z)
FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。 FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
論文参考訳（メタデータ） (2023-05-05T04:28:48Z)
Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文参考訳（メタデータ） (2023-03-27T07:07:33Z)
NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation [29.157465321864265]
そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
論文参考訳（メタデータ） (2022-08-31T14:04:25Z)
A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
論文参考訳（メタデータ） (2022-07-07T16:57:21Z)
Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2021-06-30T22:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。