論文の概要: A Systematic Evaluation of Federated Learning on Biomedical Natural Language Processing

• arxiv url: http://arxiv.org/abs/2307.11254v1
• Date: Thu, 20 Jul 2023 22:10:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 14:10:37.682623
• Title: A Systematic Evaluation of Federated Learning on Biomedical Natural Language Processing
• Title（参考訳）: バイオメディカル自然言語処理におけるフェデレーション学習の体系的評価
• Authors: Le Peng, sicheng zhou, jiandong chen, Rui Zhang, Ziyue Xu, Ju Sun
• Abstract要約: 言語モデル(LM)は自然言語処理(NLP)に革命をもたらした しかし、プライバシに敏感なドメインは、データアクセスとプライバシの制約が制限されているため、LMをトレーニングするための課題に直面している。 フェデレートラーニング(FL)は、コラボレーティブラーニングを可能にする分散型ソリューションを提供する。
• 参考スコア（独自算出の注目度）: 9.996555586686645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) like BERT and GPT have revolutionized natural language processing (NLP). However, privacy-sensitive domains, particularly the medical field, face challenges to train LMs due to limited data access and privacy constraints imposed by regulations like the Health Insurance Portability and Accountability Act (HIPPA) and the General Data Protection Regulation (GDPR). Federated learning (FL) offers a decentralized solution that enables collaborative learning while ensuring the preservation of data privacy. In this study, we systematically evaluate FL in medicine across $2$ biomedical NLP tasks using $6$ LMs encompassing $8$ corpora. Our results showed that: 1) FL models consistently outperform LMs trained on individual client's data and sometimes match the model trained with polled data; 2) With the fixed number of total data, LMs trained using FL with more clients exhibit inferior performance, but pre-trained transformer-based models exhibited greater resilience. 3) LMs trained using FL perform nearly on par with the model trained with pooled data when clients' data are IID distributed while exhibiting visible gaps with non-IID data. Our code is available at: https://github.com/PL97/FedNLP
• Abstract（参考訳）: BERTやGPTのような言語モデル(LM)は自然言語処理(NLP)に革命をもたらした。 しかし、プライバシーに敏感なドメイン、特に医療分野は、健康保険可搬性会計法(Health Insurance Portability and Accountability Act, HIPPA)や一般データ保護規則(General Data Protection Regulation, GDPR)などの規制によって課されるデータアクセスとプライバシーの制約が制限されているため、LMを訓練する課題に直面している。 フェデレートラーニング(FL)は、データプライバシの保護を確保しながら協調学習を可能にする分散ソリューションを提供する。 本研究は, バイオメディカルNLPタスクの医療におけるFLを, 8ドルコーパスを含む6ドルのLMを用いて体系的に評価した。 結果はこう示しました 1) flモデルは,個々のクライアントのデータでトレーニングされたlmmを一貫して上回っており,時にはポーリングされたデータでトレーニングされたモデルと一致する。 2) 総データ量は一定であり, FLをより多くのクライアントで訓練したLMでは性能は劣るが, 事前学習したトランスフォーマーモデルではレジリエンスが向上した。 3) fl を用いてトレーニングした lms は,非 iid データの可視ギャップを提示しながら,クライアントの iid 分散時にプールデータでトレーニングされたモデルとほぼ同等の性能を発揮する。 私たちのコードは、https://github.com/PL97/FedNLPで利用可能です。

関連論文リスト

• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。 我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。 ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
  特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。 これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。 テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
  論文  参考訳（メタデータ） (2023-11-12T15:43:39Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods [22.16636947999123]
  フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。 具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。 全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
  論文  参考訳（メタデータ） (2022-12-20T06:44:32Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging [23.08596805950814]
  医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。 具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。 自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
  論文  参考訳（メタデータ） (2022-05-17T18:33:43Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。