論文の概要: Multimodal Federated Learning With Missing Modalities through Feature Imputation Network

• arxiv url: http://arxiv.org/abs/2505.20232v1
• Date: Mon, 26 May 2025 17:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:27.036272
• Title: Multimodal Federated Learning With Missing Modalities through Feature Imputation Network
• Title（参考訳）: 特徴インプットネットワークによるモダリティの欠如によるマルチモーダル・フェデレーション学習
• Authors: Pranav Poudel, Aavash Chhetri, Prashnna Gyawali, Georgios Leontidis, Binod Bhattarai,
• Abstract要約: マルチモーダル・フェデレート・ラーニングは、生データを共有せずに複数のソースからモデルを協調的に訓練する大きな可能性を秘めている。 従来の手法は一般的に、欠落したモダリティを補うために、一般に利用可能な実際のデータセットや合成データに依存していた。 欠落したモダリティのボトルネック特徴を再構築するための,軽量で低次元な特徴変換器を提案する。
• 参考スコア（独自算出の注目度）: 9.384737026881504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal federated learning holds immense potential for collaboratively training models from multiple sources without sharing raw data, addressing both data scarcity and privacy concerns, two key challenges in healthcare. A major challenge in training multimodal federated models in healthcare is the presence of missing modalities due to multiple reasons, including variations in clinical practice, cost and accessibility constraints, retrospective data collection, privacy concerns, and occasional technical or human errors. Previous methods typically rely on publicly available real datasets or synthetic data to compensate for missing modalities. However, obtaining real datasets for every disease is impractical, and training generative models to synthesize missing modalities is computationally expensive and prone to errors due to the high dimensionality of medical data. In this paper, we propose a novel, lightweight, low-dimensional feature translator to reconstruct bottleneck features of the missing modalities. Our experiments on three different datasets (MIMIC-CXR, NIH Open-I, and CheXpert), in both homogeneous and heterogeneous settings consistently improve the performance of competitive baselines. The code and implementation details are available at: https://github.com/bhattarailab/FedFeatGen
• Abstract（参考訳）: マルチモーダル・フェデレート・ラーニングは、生データを共有せずに複数のソースからのモデルを協調的にトレーニングする大きな可能性を秘めている。 医療におけるマルチモーダルフェデレーションモデルのトレーニングにおける大きな課題は、臨床実践のバリエーション、コストとアクセシビリティの制約、振り返りデータ収集、プライバシの懸念、時には技術的または人間のエラーなど、さまざまな理由から、モダリティの欠如の存在である。 従来の手法は一般的に、欠落したモダリティを補うために、一般に利用可能な実際のデータセットや合成データに依存していた。 しかし、すべての疾患に対して実際のデータセットを取得することは現実的ではなく、欠落したモダリティを合成するための生成モデルを訓練することは、計算コストが高く、医療データの高次元性のためにエラーを起こしやすい。 本稿では,欠落したモダリティのボトルネック特徴を再構築するための,軽量で低次元な特徴変換器を提案する。 同種・異種両方のデータセット(MIMIC-CXR,NIH Open-I,CheXpert)に対する実験により,競争ベースラインの性能は一貫して向上した。 コードと実装の詳細は、https://github.com/bhattarailab/FedFeatGen.comで確認できる。

関連論文リスト

• Towards Robust Multimodal Representation: A Unified Approach with Adaptive Experts and Alignment [0.8213829427624407]
  不完全なマルチモーダルデータを処理するディープラーニングフレームワークであるMoSAReを提案する。 MoSAReは、専門家の選択、横断的な注意、および対照的な学習を統合して、特徴表現と意思決定を改善する。 データが欠落している場合でも、信頼性の高い予測を提供する。
  論文  参考訳（メタデータ） (2025-03-12T16:03:00Z)
• Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
  網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。 より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。 さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
  論文  参考訳（メタデータ） (2024-09-17T17:22:35Z)
• CAR-MFL: Cross-Modal Augmentation by Retrieval for Multimodal Federated Learning with Missing Modalities [6.336606641921228]
  モーダルを欠くマルチモーダル・フェデレート学習のための新しい手法を提案する。 私たちの貢献は、検索による新しいクロスモーダルなデータ拡張であり、小さな公開データセットを活用しています。 本手法は,パラメータをフェデレートした方法で学習し,プライバシ保護の確保と性能向上を図る。
  論文  参考訳（メタデータ） (2024-07-11T16:26:08Z)
• Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• UnitedHuman: Harnessing Multi-Source Data for High-Resolution Human Generation [59.77275587857252]
  総合的な人間のデータセットは、必然的に、局所的な部分についての不十分で低解像度な情報を持っている。 本稿では,高解像度な人為的生成モデルを共同で学習するために,様々な解像度画像を用いたマルチソースデータセットを提案する。
  論文  参考訳（メタデータ） (2023-09-25T17:58:46Z)
• Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data [8.536869574065195]
  Multi-Modal Mixing Transformer (3MAT)は、マルチモーダルデータを利用するだけでなく、欠落したデータシナリオも扱う病気分類変換器である。 本稿では、欠落したデータシナリオを扱うために、前例のないモダリティ独立性とロバスト性を確保するための新しいモダリティドロップアウト機構を提案する。
  論文  参考訳（メタデータ） (2022-10-01T11:31:02Z)
• Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data [57.19441629270029]
  本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。 小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。 DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
  論文  参考訳（メタデータ） (2022-02-08T10:03:24Z)
• FedMed-GAN: Federated Domain Translation on Unsupervised Cross-Modality Brain Image Synthesis [55.939957482776194]
  我々は、教師なし脳画像合成におけるフェデレートドメイン翻訳のための新しいベンチマーク(FedMed-GAN)を提案する。 FedMed-GANは発電機の性能を犠牲にすることなくモード崩壊を緩和する。 FedMed-GANと他の集中型手法を比較するための総合的な評価を提供する。
  論文  参考訳（メタデータ） (2022-01-22T02:50:29Z)
• Brain Image Synthesis with Unsupervised Multivariate Canonical CSC$\ell_4$Net [122.8907826672382]
  我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
  論文  参考訳（メタデータ） (2021-03-22T05:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。