論文の概要: Distributionally Robust Alignment for Medical Federated Vision-Language Pre-training Under Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2404.03854v3
• Date: Thu, 21 Nov 2024 21:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:02:10.040501
• Title: Distributionally Robust Alignment for Medical Federated Vision-Language Pre-training Under Data Heterogeneity
• Title（参考訳）: データ不均一性を考慮した医用統合ビジョンランゲージ事前トレーニングのためのロバストアライメント
• Authors: Zitao Shuai, Chenwei Wu, Zhengxu Tang, Liyue Shen,
• Abstract要約: 医用ビジョン言語事前学習のためのFedDRA(Federated Distributionally Robust Alignment)を提案する。 FedDRAは異種条件下で頑健な視覚言語アライメントを実現する。 また,本手法は様々な医学的事前訓練法にも適している。
• 参考スコア（独自算出の注目度）: 4.84693589377679
• License:
• Abstract: Vision-language pre-training (VLP) has emerged as an effective scheme for multimodal representation learning, but its reliance on large-scale multimodal data poses significant challenges for medical applications. Federated learning (FL) offers a promising solution to scale up the dataset for medical VLP while preserving data privacy. However, we observe that client data heterogeneity in real-world scenarios could cause models to learn biased cross-modal alignment during local pre-training. This would limit the transferability of the federally learned representation model on downstream tasks. To address this challenge, we propose Federated Distributionally Robust Alignment (FedDRA), a framework for federated VLP that achieves robust vision-language alignment under heterogeneous conditions. Based on client datasets, we construct a distribution family that encompasses potential test-time domains, and apply a distributionally robust framework to optimize the pre-trained model's performance across this distribution space. This approach bridges the gap between pre-training samples and downstream applications. To avoid over-fitting on client-specific information, we use anchor representation from the global model to guide the local training, and adopt a two-stage approach to first tune deeper layers before updating the entire network. Extensive experiments on real-world datasets demonstrate FedDRA's effectiveness in enhancing medical federated VLP under data heterogeneity. Our method also adapts well to various medical pre-training methods.
• Abstract（参考訳）: 視覚言語事前学習(VLP)はマルチモーダル表現学習の効果的なスキームとして登場したが、大規模マルチモーダルデータへの依存は医療応用にとって大きな課題となっている。 Federated Learning(FL)は、データのプライバシを保持しながら、医療用VLPのデータセットをスケールアップする、有望なソリューションを提供する。 しかし、実世界のシナリオにおけるクライアントデータの異質性は、局所的な事前学習中にモデルに偏りのあるクロスモーダルアライメントを学習させる可能性がある。 これにより、下流タスクにおける連邦政府が学習した表現モデルの転送可能性を制限することができる。 この課題に対処するため,フェデレート分散ロバストアライメント(FedDRA)を提案する。 クライアントデータセットに基づいて、潜在的なテスト時間ドメインを含む分散ファミリを構築し、この分散空間全体にわたってトレーニング済みモデルの性能を最適化するために、分散的に堅牢なフレームワークを適用します。 このアプローチは、事前トレーニングされたサンプルと下流アプリケーションの間のギャップを埋める。 クライアント固有の情報の過度な適合を避けるため、我々はグローバルモデルからのアンカー表現を使用して、ローカルトレーニングをガイドし、2段階のアプローチを採用し、まずネットワーク全体を更新する前に、より深いレイヤをチューニングします。 実世界のデータセットに関する大規模な実験は、FedDRAがデータ不均一性の下での医療連合VLPの強化に有効であることを示す。 また,本手法は様々な医学的事前訓練法にも適している。

関連論文リスト

• Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
  フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。 我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:37:52Z)
• FedMRL: Data Heterogeneity Aware Federated Multi-agent Deep Reinforcement Learning for Medical Imaging [12.307490659840845]
  我々は,データの不均一性に対処する新しいマルチエージェント深層強化学習フレームワークであるFedMRLを紹介する。 FedMRLは、クライアント間の公平性を促進するために、新たな損失関数を導入し、最終グローバルモデルのバイアスを防ぐ。 その結果,FedMRLが最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-08T10:10:07Z)
• Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
  垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。 VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。 そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
  論文  参考訳（メタデータ） (2024-05-20T08:57:39Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Federated Multilingual Models for Medical Transcript Analysis [11.877236847857336]
  大規模多言語モデルを学習するための連合学習システムを提案する。 トレーニングデータはすべて、中央に送信されることはない。 本研究では,グローバルモデルの性能を,局所的に行うトレーニングステップによってさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-11-04T01:07:54Z)
• Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging [23.08596805950814]
  医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。 具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。 自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
  論文  参考訳（メタデータ） (2022-05-17T18:33:43Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。