論文の概要: Empowering Federated Learning for Massive Models with NVIDIA FLARE

• arxiv url: http://arxiv.org/abs/2402.07792v1
• Date: Mon, 12 Feb 2024 16:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 13:31:28.527206
• Title: Empowering Federated Learning for Massive Models with NVIDIA FLARE
• Title（参考訳）: NVIDIA FLAREによる大規模モデルのフェデレーション学習の強化
• Authors: Holger R. Roth, Ziyue Xu, Yuan-Ting Hsieh, Adithya Renduchintala, Isaac Yang, Zhihong Zhang, Yuhong Wen, Sean Yang, Kevin Lu, Kristopher Kersten, Camir Ricketts, Daguang Xu, Chester Chen, Yan Cheng, Andrew Feng
• Abstract要約: データを効果的に扱い 活用することが 重要な課題となりました ほとんどの最先端の機械学習アルゴリズムはデータ中心である。 本稿では,NVIDIA FLAREによって実現されたフェデレーション学習が,これらの課題にどのように対処できるかを検討する。
• 参考スコア（独自算出の注目度）: 15.732926323081077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the ever-evolving landscape of artificial intelligence (AI) and large language models (LLMs), handling and leveraging data effectively has become a critical challenge. Most state-of-the-art machine learning algorithms are data-centric. However, as the lifeblood of model performance, necessary data cannot always be centralized due to various factors such as privacy, regulation, geopolitics, copyright issues, and the sheer effort required to move vast datasets. In this paper, we explore how federated learning enabled by NVIDIA FLARE can address these challenges with easy and scalable integration capabilities, enabling parameter-efficient and full supervised fine-tuning of LLMs for natural language processing and biopharmaceutical applications to enhance their accuracy and robustness.
• Abstract（参考訳）: 人工知能(AI)と大規模言語モデル(LLM)の分野では、データの処理と活用が重要な課題となっている。 最先端の機械学習アルゴリズムのほとんどはデータ中心だ。 しかし、モデルパフォーマンスのライフサイクルとして、プライバシー、規制、地政学、著作権問題、膨大なデータセットの移動に必要な多大な労力など、必要なデータは必ずしも集中できない。 本稿では,NVIDIA FLAREによって実現されたフェデレーション学習が,これらの課題に対して,パラメータ効率とLLMの完全教師付き微調整を可能とし,自然言語処理やバイオ医薬品への応用により,その正確性と堅牢性を高めることができるかを検討する。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Unsupervised Data Validation Methods for Efficient Model Training [0.0]
  自然言語処理(NLP)、テキスト音声処理(TTS)、音声テキスト処理(STT)、視覚言語モデル(VLM)は大規模なデータセットに大きく依存している。 本研究では,「品質データ」の定義,適切なデータ生成方法の開発,モデルトレーニングへのアクセシビリティ向上など,重要な分野について検討する。
  論文  参考訳（メタデータ） (2024-10-10T13:00:53Z)
• FedNE: Surrogate-Assisted Federated Neighbor Embedding for Dimensionality Reduction [47.336599393600046]
  textscFedNEは、textscFedAvgフレームワークと対照的なNEテクニックを統合する新しいアプローチである。 我々は、合成データセットと実世界のデータセットの両方について包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:23:24Z)
• Generative AI like ChatGPT in Blockchain Federated Learning: use cases, opportunities and future [4.497001527881303]
  本研究は、フェデレーション学習における生成AIの潜在的な統合について検討する。 GAN(generative adversarial Network)とVAE(variantal autoencoder) 合成データの生成は、限られたデータ可用性に関連する課題に、フェデレートされた学習を支援する。
  論文  参考訳（メタデータ） (2024-07-25T19:43:49Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• FRAMU: Attention-based Machine Unlearning using Federated Reinforcement Learning [16.86560475992975]
  FRAMU(Federated Reinforcement Learning)を用いた注意型機械学習について紹介する。 FRAMUには適応学習機構、プライバシー保護技術、最適化戦略が組み込まれている。 実験の結果,FRAMUはベースラインモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-19T03:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。