論文の概要: A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine

• arxiv url: http://arxiv.org/abs/2601.22124v1
• Date: Thu, 29 Jan 2026 18:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.089122
• Title: A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine
• Title（参考訳）: 医学における大規模言語モデルトレーニングのためのFederated and Parameter-Efficient Framework
• Authors: Anran Li, Yuanyuan Chen, Wenjun Long, Yu Yin, Yan Hu, Hyunjae Kim, Weipeng Zhou, Yujia Zhou, Hongyi Peng, Yang Ren, Xuguang Ai, Zhenyue Qin, Ming Hu, Xiaoxiao Li, Han Yu, Yih-Chung Tham, Lucila Ohno-Machado, Hua Xu, Qingyu Chen,
• Abstract要約: 大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 59.78991974851707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated strong performance on medical benchmarks, including question answering and diagnosis. To enable their use in clinical settings, LLMs are typically further adapted through continued pretraining or post-training using clinical data. However, most medical LLMs are trained on data from a single institution, which faces limitations in generalizability and safety in heterogeneous systems. Federated learning (FL) is a promising solution for enabling collaborative model development across healthcare institutions. Yet applying FL to LLMs in medicine remains fundamentally limited. First, conventional FL requires transmitting the full model during each communication round, which becomes impractical for multi-billion-parameter LLMs given the limited computational resources. Second, many FL algorithms implicitly assume data homogeneity, whereas real-world clinical data are highly heterogeneous across patients, diseases, and institutional practices. We introduce the model-agnostic and parameter-efficient federated learning framework for adapting LLMs to medical applications. Fed-MedLoRA transmits only low-rank adapter parameters, reducing communication and computation overhead, while Fed-MedLoRA+ further incorporates adaptive, data-aware aggregation to improve convergence under cross-site heterogeneity. We apply the framework to clinical information extraction (IE), which transforms patient narratives into structured medical entities and relations. Accuracy was assessed across five patient cohorts through comparisons with BERT models, and LLaMA-3 and DeepSeek-R1, GPT-4o models. Evaluation settings included (1) in-domain training and testing, (2) external validation on independent cohorts, and (3) a low-resource new-site adaptation scenario using real-world clinical notes from the Yale New Haven Health System.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 臨床での使用を可能にするために、LSMは、通常、臨床データを使用して継続した事前訓練または後訓練によってさらに適応される。 しかし、ほとんどの医療用LDMは、異種システムの一般化性と安全性の限界に直面している単一の機関のデータに基づいて訓練されている。 Federated Learning(FL)は、医療機関間で協調的なモデル開発を可能にする、有望なソリューションである。 しかし、医学におけるLDMへのFLの適用は、基本的に制限されている。 第一に、従来のFLは各通信ラウンド中に全モデルを送信する必要があり、計算資源が限られているため、マルチビリオンパラメータLPMでは実用的ではない。 第二に、多くのFLアルゴリズムはデータ均質性を暗黙的に仮定するが、実際の臨床データは患者、疾患、制度的に非常に異質である。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。 Fed-MedLoRAは低ランクのアダプタパラメータのみを送信し、通信と計算のオーバーヘッドを低減します。 この枠組みを臨床情報抽出(IE)に適用し,患者の物語を構造化された医療機関と関係に変換する。 BERTモデルとLLaMA-3およびDeepSeek-R1, GPT-4oモデルとの比較により, 5例のコホートで精度を評価した。 評価条件は,(1)ドメイン内トレーニングとテスト,(2)独立したコホートに対する外部検証,(3)イェール・ニューヘイブン・ヘルス・システム(Yale New Haven Health System)の実際の臨床ノートを用いた低リソース新サイト適応シナリオであった。

関連論文リスト

• Counterfactual Modeling with Fine-Tuned LLMs for Health Intervention Design and Sensor Data Augmentation [2.6532805035238742]
  対実的説明(CFE)は、機械学習モデルの予測を変更するのに必要な最小限の実行可能な変更を特定することによって、人間中心の解釈可能性を提供する。 大規模言語モデル(LLM)を用いたCF生成の包括的評価を行う。 我々は、介入品質、特徴多様性、強化効果の3次元にわたるCFを評価した。
  論文  参考訳（メタデータ） (2026-01-21T02:04:08Z)
• BRIDGE: Benchmarking Large Language Models for Understanding Real-world Clinical Practice Text [14.409097921305134]
  BRIDGEは、9言語にわたる実世界の臨床データソースから得られた87のタスクからなる包括的なベンチマークである。 8つの主要なタスクタイプを6つの臨床段階と20の代表的な応用でカバーしている。 本結果から, モデルサイズ, 言語, 自然言語処理タスク, 臨床専門分野において, かなりの性能変化が明らかとなった。
  論文  参考訳（メタデータ） (2025-04-28T04:13:18Z)
• FedMetaMed: Federated Meta-Learning for Personalized Medication in Distributed Healthcare Systems [7.32609591220333]
  パーソナライズドメディケーションのためのフェデレーションメタラーニング(FedMetaMed)について紹介する。 FedMetaMedは、フェデレーションラーニングとメタラーニングを組み合わせて、医療システム全体にわたる多様な患者データに適応するモデルを作成する。 我々は、FedMetaMedが最先端のFL法より優れ、最先端のコホートでも優れた一般化を示すことを示す。
  論文  参考訳（メタデータ） (2024-12-05T03:36:55Z)
• FedCVD: The First Real-World Federated Learning Benchmark on Cardiovascular Disease Data [52.55123685248105]
  心臓血管疾患(CVD)は、現在世界でも主要な死因であり、早期診断と治療の要点を浮き彫りにしている。 機械学習(ML)手法はCVDの早期診断に役立つが、その性能は高品質なデータへのアクセスに依存している。 本稿では、FedCVDという心臓血管疾患検出のための、世界初の実世界のFLベンチマークを示す。
  論文  参考訳（メタデータ） (2024-10-28T02:24:01Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• An In-Depth Evaluation of Federated Learning on Biomedical Natural Language Processing [7.412360079707614]
  言語モデル(LM)は自然言語処理(NLP)に革命をもたらした 医療分野は、データプライバシの制約が限られているため、LMをトレーニングする際の課題に直面している。 Federated Data(FL)では、共同学習を可能にする分散ソリューションを提供しています。
  論文  参考訳（メタデータ） (2023-07-20T22:10:04Z)
• Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare [13.176351544342735]
  本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。 これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
  論文  参考訳（メタデータ） (2023-06-28T17:00:32Z)
• Auto-FedRL: Federated Hyperparameter Optimization for Multi-institutional Medical Image Segmentation [48.821062916381685]
  Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。 本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。 提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
  論文  参考訳（メタデータ） (2022-03-12T04:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。