論文の概要: Federated Learning with Layer Skipping: Efficient Training of Large Language Models for Healthcare NLP

• arxiv url: http://arxiv.org/abs/2504.10536v1
• Date: Sun, 13 Apr 2025 07:27:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:12:21.566213
• Title: Federated Learning with Layer Skipping: Efficient Training of Large Language Models for Healthcare NLP
• Title（参考訳）: レイヤースキッピングによるフェデレートラーニング:医療NLPのための大規模言語モデルの効率的な訓練
• Authors: Lihong Zhang, Yue Li,
• Abstract要約: フェデレートラーニング(FL)は、生データを共有せずに組織間で協調的なモデルトレーニングを可能にする。 事前学習されたLLMの選ばれたレイヤのみをクライアント間で微調整し、他のレイヤは凍結したままにしておくレイヤ・スキャッピング・フェデレート・ラーニングを提案する。
• 参考スコア（独自算出の注目度）: 4.744635045603924
• License:
• Abstract: Federated learning (FL) enables collaborative model training across organizations without sharing raw data, addressing crucial privacy concerns in healthcare natural language processing (NLP). However, training large language models (LLMs) in federated settings faces significant challenges, including communication overhead and data heterogeneity. We propose Layer-Skipping Federated Learning, where only selected layers of a pre-trained LLM are fine-tuned across clients while others remain frozen. Applied to LLaMA 3.2-1B, our approach reduces communication costs by approximately 70% while maintaining performance within 2% of centralized training. We evaluate our method on clinical NER and classification tasks using i2b2 and MIMIC-III datasets. Our experiments demonstrate that Layer-Skipping FL outperforms competitive baselines, handles non-IID clinical data distributions effectively, and shows robustness when combined with differential privacy. This approach represents a practical solution for privacy-preserving collaborative learning in healthcare NLP.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを共有せずに組織間で協調的なモデルトレーニングを可能にし、医療自然言語処理(NLP)における重要なプライバシー問題に対処する。 しかし、フェデレートされた環境での大規模言語モデル(LLM)のトレーニングは、通信オーバーヘッドやデータの異種性など、大きな課題に直面している。 事前学習されたLLMの選ばれたレイヤのみをクライアント間で微調整し、他のレイヤは凍結したままにしておくレイヤ・スキャッピング・フェデレート・ラーニングを提案する。 LLaMA 3.2-1Bの適用により,集中トレーニングの2%以内の性能を維持しつつ,通信コストを約70%削減できる。 i2b2およびMIMIC-IIIデータセットを用いて臨床NERと分類タスクの評価を行った。 実験により,Layer-Skipping FL は競争ベースラインより優れ,非IID 臨床データ分布を効果的に処理し,差分プライバシーと組み合わせた場合の堅牢性を示した。 このアプローチは、医療NLPにおけるプライバシー保護協調学習の実践的な解決策である。

関連論文リスト

• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FACMIC: Federated Adaptative CLIP Model for Medical Image Classification [12.166024140377337]
  本稿では,CLIPモデルを用いた適応型コントラスト言語画像の分類処理について紹介する。 私たちはCLIP用の軽量で効率的な機能アテンションモジュールを採用し、各クライアントのデータに適した機能を選択します。 本稿では,クライアント間のデータ分散の差異を低減するためのドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T13:24:10Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• An In-Depth Evaluation of Federated Learning on Biomedical Natural Language Processing [7.412360079707614]
  言語モデル(LM)は自然言語処理(NLP)に革命をもたらした 医療分野は、データプライバシの制約が限られているため、LMをトレーニングする際の課題に直面している。 Federated Data(FL)では、共同学習を可能にする分散ソリューションを提供しています。
  論文  参考訳（メタデータ） (2023-07-20T22:10:04Z)
• Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare [13.176351544342735]
  本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。 これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
  論文  参考訳（メタデータ） (2023-06-28T17:00:32Z)
• FedPNN: One-shot Federated Classification via Evolving Clustering Method and Probabilistic Neural Network hybrid [4.241208172557663]
  本稿では,プライバシ保護を指向した2段階のフェデレーション学習手法を提案する。 第1段階では、2つの異なる分布をノイズとして利用して合成データセットを生成する。 第2段階では,FedPNN(Federated Probabilistic Neural Network)が開発され,グローバルに共有する分類モデルの構築に利用されている。
  論文  参考訳（メタデータ） (2023-04-09T03:23:37Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• Federated Contrastive Learning for Volumetric Medical Image Segmentation [16.3860181959878]
  フェデレートラーニング(FL)は、プライバシのためのトレーニングデータをローカルに保持しながら、共有モデルを学ぶことで、この点において役立つ。 従来のFLはトレーニングのために完全にラベル付けされたデータを必要とする。 そこで本研究では,アノテーションを限定したボリューム・メディカル・イメージ・セグメンテーションのためのFCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-23T03:47:23Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。