論文の概要: CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.13746v1
• Date: Wed, 22 May 2024 15:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:35:03.847481
• Title: CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models
• Title（参考訳）: CG-FedLLM:大規模言語モデルのためのフェデレートフーンチューニングにおける勾配の圧縮法
• Authors: Huiwen Wu, Xiaohan Li, Deyi Zhang, Xiaogang Xu, Jiafei Wu, Puning Zhao, Zhe Liu,
• Abstract要約: 本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。 また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
• 参考スコア（独自算出の注目度）: 21.919883617413358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of current Large-Language Models (LLMs) hinges on extensive training data that is collected and stored centrally, called Centralized Learning (CL). However, such a collection manner poses a privacy threat, and one potential solution is Federated Learning (FL), which transfers gradients, not raw data, among clients. Unlike traditional networks, FL for LLMs incurs significant communication costs due to their tremendous parameters. This study introduces an innovative approach to compress gradients to improve communication efficiency during LLM FL, formulating the new FL pipeline named CG-FedLLM. This approach integrates an encoder on the client side to acquire the compressed gradient features and a decoder on the server side to reconstruct the gradients. We also developed a novel training strategy that comprises Temporal-ensemble Gradient-Aware Pre-training (TGAP) to identify characteristic gradients of the target model and Federated AutoEncoder-Involved Fine-tuning (FAF) to compress gradients adaptively. Extensive experiments confirm that our approach reduces communication costs and improves performance (e.g., average 3 points increment compared with traditional CL- and FL-based fine-tuning with LlaMA on a well-recognized benchmark, C-Eval). This improvement is because our encoder-decoder, trained via TGAP and FAF, can filter gradients while selectively preserving critical features. Furthermore, we present a series of experimental analyses focusing on the signal-to-noise ratio, compression rate, and robustness within this privacy-centric framework, providing insight into developing more efficient and secure LLMs.
• Abstract（参考訳）: 現在のLLM(Large-Language Models)の成功は、集中学習(Centralized Learning, CL)と呼ばれる、集中的に収集、保存される広範なトレーニングデータに基づいている。 しかし、このような収集方法はプライバシーの脅威となり、潜在的な解決策の1つは、クライアント間で、生データではなく勾配を転送するフェデレートラーニング(FL)である。 従来のネットワークとは異なり、FL for LLMは大きなパラメーターのため、通信コストがかなり高い。 本研究では, LLM FLにおける通信効率向上のために, CG-FedLLM という新しい FL パイプラインを考案した。 このアプローチでは、クライアント側のエンコーダを統合して、圧縮された勾配特徴とサーバ側のデコーダを取得し、勾配を再構築する。 また,TGAP(Temporal-ensemble Gradient-Aware Pre-Training)を用いて,対象モデルの特性勾配とFAF(Federated AutoEncoder-Involved Fine-Tuning)を適応的に圧縮する新たなトレーニング戦略を開発した。 本手法は通信コストを低減し,性能を向上する(例えば,LlaMAを用いた従来のCL-やFL-ベースファインタニングに比べて平均3ポイント向上する)。 この改善は、TGAPとAFFで訓練されたエンコーダデコーダが、重要な特徴を選択的に保存しながら勾配をフィルタできるためである。 さらに、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮速度、ロバスト性に着目し、より効率的でセキュアなLCMの開発に関する知見を提供する。

関連論文リスト

• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Adaptive Coded Federated Learning: Privacy Preservation and Straggler Mitigation [33.56146654796337]
  トラグラーの負の影響を軽減するために、符号化された連合学習フレームワークが提案されている。 本稿では,この欠点を克服するために,適応符号化フェデレーション学習(ACFL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T01:51:48Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。 我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。 実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
  論文  参考訳（メタデータ） (2022-12-19T14:19:07Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。