論文の概要: Federated Pseudo Modality Generation for Incomplete Multi-Modal MRI Reconstruction

• arxiv url: http://arxiv.org/abs/2308.10910v1
• Date: Sun, 20 Aug 2023 03:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 20:19:31.243006
• Title: Federated Pseudo Modality Generation for Incomplete Multi-Modal MRI Reconstruction
• Title（参考訳）: 不完全多モードMRI再構成のためのフェデレート擬似モダリティ生成
• Authors: Yunlu Yan, Chun-Mei Feng, Yuexiang Li, Rick Siow Mong Goh, Lei Zhu
• Abstract要約: Fed-PMGは、コミュニケーション効率の高い新しいフェデレーション学習フレームワークである。 単一モーダルクライアントごとに欠落したモーダルを復元する擬似モーダル生成機構を提案する。 当社のアプローチは, 許容可能な通信コストの範囲内で, 欠落したモダリティを効果的に達成することができる。
• 参考スコア（独自算出の注目度）: 26.994070472726357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While multi-modal learning has been widely used for MRI reconstruction, it relies on paired multi-modal data which is difficult to acquire in real clinical scenarios. Especially in the federated setting, the common situation is that several medical institutions only have single-modal data, termed the modality missing issue. Therefore, it is infeasible to deploy a standard federated learning framework in such conditions. In this paper, we propose a novel communication-efficient federated learning framework, namely Fed-PMG, to address the missing modality challenge in federated multi-modal MRI reconstruction. Specifically, we utilize a pseudo modality generation mechanism to recover the missing modality for each single-modal client by sharing the distribution information of the amplitude spectrum in frequency space. However, the step of sharing the original amplitude spectrum leads to heavy communication costs. To reduce the communication cost, we introduce a clustering scheme to project the set of amplitude spectrum into finite cluster centroids, and share them among the clients. With such an elaborate design, our approach can effectively complete the missing modality within an acceptable communication cost. Extensive experiments demonstrate that our proposed method can attain similar performance with the ideal scenario, i.e., all clients have the full set of modalities. The source code will be released.
• Abstract（参考訳）: マルチモーダル学習はMRI再建に広く用いられているが、実際の臨床シナリオでは取得が困難であるペア化されたマルチモーダルデータに依存している。 特に連合環境では、いくつかの医療機関は単一モーダルデータしか持たず、モダリティの欠落問題と呼ばれた。 したがって、そのような状況下で標準のフェデレーション学習フレームワークをデプロイすることは不可能である。 本稿では,フェデレーション型マルチモーダルMRI再構成におけるモダリティの欠如に対処するための,コミュニケーション効率の高い新しいフェデレーション学習フレームワークであるFed-PMGを提案する。 具体的には、周波数空間における振幅スペクトルの分布情報を共有することにより、各シングルモーダルクライアントの欠落モダリティを回復する擬似モダリティ生成機構を利用する。 しかし、元の振幅スペクトルを共有するステップは、通信コストを増大させる。 通信コストを低減すべく,振幅スペクトルのセットを有限クラスタセンタロイドに投影し,それらをクライアント間で共有するクラスタリング方式を提案する。 このような精巧な設計によって、我々のアプローチは、許容できる通信コスト内で、欠けているモダリティを効果的に完了することができる。 広範な実験により,提案手法が理想のシナリオ,すなわちすべてのクライアントが完全なモダリティを持つ場合と同等の性能を達成できることが証明された。 ソースコードはリリースされます。

関連論文リスト

• Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning [50.74383395813782]
  本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。 提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-21T12:02:47Z)
• Federated Modality-specific Encoders and Multimodal Anchors for Personalized Brain Tumor Segmentation [29.584319651813754]
  FedMEMA (Federated modality-specific encoder) とマルチモーダルアンカー (Multimal anchors) が提案されている。 FedMEMAは、モーダル間の不均一性を考慮するために、各モーダルに排他的エンコーダを使用する。 FedMEMAは、マルチモーダル脳腫瘍セグメンテーションのためのBraTS 2020ベンチマークで検証されている。
  論文  参考訳（メタデータ） (2024-03-18T14:02:53Z)
• FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
  Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
  論文  参考訳（メタデータ） (2024-02-24T16:58:42Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Cross-Modal Vertical Federated Learning for MRI Reconstruction [42.527873703840996]
  フェデレート・ラーニング(Federated Learning)は、複数の病院がプライバシーの開示なしに共有モデルを共同で学習することを可能にする。 我々は、MRI再建を促進するための新しいフレームワーク、フェデレート・一貫性規則化制約付き特徴分散(Fed-CRFD)を開発した。 本手法は,領域シフト問題を緩和しつつ,病院からのマルチソースデータを完全に活用することができる。
  論文  参考訳（メタデータ） (2023-06-05T08:07:01Z)
• Learning Federated Visual Prompt in Null Space for MRI Reconstruction [83.71117888610547]
  我々はMRI再建のためのグローバルプロンプトのヌル空間におけるフェデレートされた視覚的プロンプトを学習するための新しいアルゴリズムであるFedPRを提案する。 FedPRは、ローカルトレーニングデータの限られた量を与えられた場合、通信コストの6%で最先端のFLアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-28T17:46:16Z)
• NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation [29.157465321864265]
  そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。 変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
  論文  参考訳（メタデータ） (2022-08-31T14:04:25Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• MS-Net: Multi-Site Network for Improving Prostate Segmentation with Heterogeneous MRI Data [75.73881040581767]
  本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。 当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-02-09T14:11:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。