Fugu-MT 論文翻訳(概要): CELLM: An Efficient Communication in Large Language Models Training for Federated Learning

論文の概要: CELLM: An Efficient Communication in Large Language Models Training for Federated Learning

arxiv url: http://arxiv.org/abs/2407.20557v2
Date: Tue, 20 Aug 2024 13:42:25 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 19:00:29.725170
Title: CELLM: An Efficient Communication in Large Language Models Training for Federated Learning
Title（参考訳）: CellM:フェデレートラーニングのための大規模言語モデルにおける効率的なコミュニケーション
Authors: Raja Vavekanand, Kira Sam,
Abstract要約: 本論文は,フェデレートラーニング(FL)における大規模言語モデル(LLM)の効率的な学習手法の開発を目的とする。まず,ローランク適応(LoRA)を用いて局所モデルトレーニングの計算負荷を削減する。第2に、コミュニケーションコストを大幅に削減するために、トレーニング全体を通してスパース更新を通信します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) is a recent model training paradigm in which client devices collaboratively train a model without ever aggregating their data. Crucially, this scheme offers users potential privacy and security benefits by only ever communicating updates to the model weights to a central server as opposed to traditional machine learning (ML) training which directly communicates and aggregates data. However, FL training suffers from statistical heterogeneity as clients may have differing local data distributions. Large language models (LLMs) offer a potential solution to this issue of heterogeneity given that they have consistently been shown to be able to learn on vast amounts of noisy data. While LLMs are a promising development for resolving the consistent issue of non-I.I.D. Clients in federated settings exacerbate two other bottlenecks in FL: limited local computing and expensive communication. This thesis aims to develop efficient training methods for LLMs in FL. To this end, we employ two critical techniques in enabling efficient training. First, we use low-rank adaptation (LoRA) to reduce the computational load of local model training. Second, we communicate sparse updates throughout training to significantly cut down on communication costs. Taken together, our method reduces communication costs by up to 10x over vanilla LoRA and up to 5x over more complex sparse LoRA baselines while achieving greater utility. We emphasize the importance of carefully applying sparsity and picking effective rank and sparsity configurations for federated LLM training.
Abstract（参考訳）: Federated Learning(FL)は、クライアントデバイスがデータを集約することなく、協調的にモデルをトレーニングする、最近のモデルトレーニングパラダイムである。重要なのは、このスキームは、データを直接通信し集約する従来の機械学習(ML)トレーニングとは対照的に、モデルウェイトに対するアップデートを中央サーバに通信するだけで、潜在的なプライバシとセキュリティ上のメリットを提供する。しかし、FLトレーニングは、クライアントがローカルデータの分布が異なる可能性があるため、統計的不均一性に悩まされている。大規模言語モデル(LLM)は、膨大なノイズデータから学習できることが一貫して示されていることから、この不均一性の問題に対する潜在的な解決策を提供する。 LLMは、非I.D.クライアントのフェデレーション設定における一貫した問題を解決するための有望な開発であるが、FLの他の2つのボトルネック、すなわちローカルコンピューティングと高価な通信を悪化させる。本論文は,FL における LLM の効率的な学習手法の開発を目的とする。この目的のために、効率的なトレーニングを可能にするために、2つの重要なテクニックを採用している。まず,ローランク適応(LoRA)を用いて局所モデルトレーニングの計算負荷を削減する。第2に、コミュニケーションコストを大幅に削減するために、トレーニング全体を通してスパース更新を通信します。本手法は,バニラロラ上での通信コストを最大10倍に削減し,より複雑な疎いロラベースラインを最大5倍に削減する。フェデレートLDMトレーニングにおいて,スペーサを慎重に適用し,効果的なランクとスペーサ構成を選択することの重要性を強調した。

関連論文リスト

Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
論文参考訳（メタデータ） (2024-06-21T06:43:15Z)
Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文参考訳（メタデータ） (2024-06-17T03:49:44Z)
Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
論文参考訳（メタデータ） (2024-05-31T05:21:12Z)
Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
論文参考訳（メタデータ） (2024-04-20T02:30:21Z)
HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
論文参考訳（メタデータ） (2024-01-16T09:34:10Z)
A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文参考訳（メタデータ） (2023-10-20T05:24:28Z)
Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文参考訳（メタデータ） (2023-10-04T20:27:20Z)
PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model [23.916918530195826]
本稿では,新しいFLフレームワークであるPromptFLを提案する。 PromptFLは市販のFM、すなわちCLIPを、共有ソフトプロンプトを共同で訓練する分散クライアントに出荷する。本稿では,PromptFLを広範囲な実験により実証的に分析し,システムの実現性,ユーザプライバシ,パフォーマンスの面でその優位性を示す。
論文参考訳（メタデータ） (2022-08-24T15:50:58Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。