論文の概要: Exploring Federated Pruning for Large Language Models
- arxiv url: http://arxiv.org/abs/2505.13547v1
- Date: Mon, 19 May 2025 03:41:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:52.389486
- Title: Exploring Federated Pruning for Large Language Models
- Title（参考訳）: 大規模言語モデルのためのフェデレートプルーニングの探索
- Authors: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu,
- Abstract要約: 我々は,LLMのプライバシ保存圧縮のために設計された包括的フェデレートプルーニングフレームワークであるFedPrLLMを紹介する。
FedPrLLMでは、各クライアントはローカルキャリブレーションデータに基づいてプルーニングマスク行列を計算し、グローバルモデルを作成するためにサーバと共有するだけでよい。
我々はFedPrLLMフレームワークの様々な可能性を探るため、様々な比較グループ、プルーニング戦略、重量を拡大する決定など、広範な実験を行った。
- 参考スコア（独自算出の注目度）: 11.429295161800242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.
- Abstract（参考訳）: LLMプルーニングはLLMを圧縮するための有望な技術として登場し、リソース制限されたデバイスへの展開を可能にしている。
しかし、現在の方法論は一般にパブリックキャリブレーションのサンプルへのアクセスを必要としており、プライバシーに敏感なドメインでは入手が困難である。
この問題に対処するために,LLMのプライバシ保存圧縮のために設計された包括的フェデレートプルーニングフレームワークであるFedPrLLMを紹介する。
FedPrLLMでは、各クライアントはローカルキャリブレーションデータに基づいてプルーニングマスク行列を計算し、グローバルモデルを作成するためにサーバと共有するだけでよい。
このアプローチは、ローカルデータのプライバシを維持しながら、各クライアントの知識とグローバルモデルの協調的なプルーニングを可能にする。
さらに、FedPrLLMフレームワークの様々な可能性を探るため、異なる比較グループ、プルーニング戦略、重量を拡大する決定など、広範な実験を行った。
我々は,FedPrLLMフレームワークにおいて,単発プルーニングと層間比較,ウェイトスケーリングが最適選択であることを明らかにした。
プライバシーに敏感な分野におけるLLMの育成に向けた今後の取り組みのガイドとなることを願っています。
私たちのコードはhttps://github.com/Pengxin-Guo/FedPrLLM.comで利用可能です。
関連論文リスト
- FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。
我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。
我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
論文 参考訳（メタデータ） (2025-03-10T11:55:50Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。
我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
論文 参考訳（メタデータ） (2024-10-18T20:33:12Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。