論文の概要: FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models

• arxiv url: http://arxiv.org/abs/2408.10276v3
• Date: Tue, 29 Oct 2024 05:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 06:44:48.791650
• Title: FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models
• Title（参考訳）: FEDKIM:医療ファウンデーションモデルへの適応的フェデレーション知識注入
• Authors: Xiaochen Wang, Jiaqi Wang, Houping Xiao, Jinghui Chen, Fenglong Ma,
• Abstract要約: 本研究は,フェデレート・ラーニング・フレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを紹介する。 FedKIMは軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、この知識を集中基盤モデルに統合する。 7つのモードで12タスクを対象に実験を行い,FedKIMの有効性について検討した。
• 参考スコア（独自算出の注目度）: 54.09244105445476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have demonstrated remarkable capabilities in handling diverse modalities and tasks, outperforming conventional artificial intelligence (AI) approaches that are highly task-specific and modality-reliant. In the medical domain, however, the development of comprehensive foundation models is constrained by limited access to diverse modalities and stringent privacy regulations. To address these constraints, this study introduces a novel knowledge injection approach, FedKIM, designed to scale the medical foundation model within a federated learning framework. FedKIM leverages lightweight local models to extract healthcare knowledge from private data and integrates this knowledge into a centralized foundation model using a designed adaptive Multitask Multimodal Mixture Of Experts (M3OE) module. This method not only preserves privacy but also enhances the model's ability to handle complex medical tasks involving multiple modalities. Our extensive experiments across twelve tasks in seven modalities demonstrate the effectiveness of FedKIM in various settings, highlighting its potential to scale medical foundation models without direct access to sensitive data.
• Abstract（参考訳）: ファウンデーションモデルは、多種多様なモダリティやタスクを扱う際、タスクに特有でモダリティに敏感な従来の人工知能(AI)アプローチよりも優れた能力を示してきた。 しかし、医療分野では、多様なモダリティや厳格なプライバシー規制への限定的なアクセスによって、包括的基盤モデルの開発が制限されている。 これらの制約に対処するため,本研究では,フェデレートラーニングフレームワーク内で医療基盤モデルを拡張するための新しい知識注入手法であるFedKIMを導入する。 FedKIMは、軽量なローカルモデルを活用して、プライベートデータから医療知識を抽出し、設計されたマルチタスク・マルチモーダル・ミックス・オブ・エキスパート(M3OE)モジュールを使用して、この知識を集中基盤モデルに統合する。 この方法は、プライバシを保存するだけでなく、複数のモダリティを含む複雑な医療タスクを扱うモデルの能力を向上する。 7つのモードで12のタスクにまたがる広範な実験は、さまざまな環境でFedKIMの有効性を示し、機密データに直接アクセスすることなく医療基盤モデルをスケールする可能性を強調した。

関連論文リスト

• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
  FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。 FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2024-08-17T15:18:56Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models in Medicine [55.29668193415034]
  マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。 これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。 様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
  論文  参考訳（メタデータ） (2024-02-28T03:51:02Z)
• FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
  Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
  論文  参考訳（メタデータ） (2024-02-24T16:58:42Z)
• Enhancing Representation in Medical Vision-Language Foundation Models via Multi-Scale Information Extraction Techniques [41.078761802053535]
  本稿では,医療基盤モデルの性能向上のために,マルチスケール情報を効果的に活用する手法を提案する。 本研究では,6つのオープンソースデータセットに対する提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-03T07:22:54Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。