論文の概要: FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model

• arxiv url: http://arxiv.org/abs/2506.05640v1
• Date: Fri, 06 Jun 2025 00:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.268644
• Title: FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model
• Title（参考訳）: FedShield-LLM: セキュアでスケーラブルなFederated Fine-Tuned Large Language Model
• Authors: Md Jueal Mia, M. Hadi Amini,
• Abstract要約: Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
• 参考スコア（独自算出の注目度）: 0.48342038441006796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) offers a decentralized framework for training and fine-tuning Large Language Models (LLMs) by leveraging computational resources across organizations while keeping sensitive data on local devices. It addresses privacy and security concerns while navigating challenges associated with the substantial computational demands of LLMs, which can be prohibitive for small and medium-sized organizations. FL supports the development of task-specific LLMs for cross-silo applications through fine-tuning but remains vulnerable to inference attacks, such as membership inference and gradient inversion, which threaten data privacy. Prior studies have utilized Differential Privacy (DP) in LLM fine-tuning, which, despite being effective at preserving privacy, can degrade model performance. To overcome these challenges, we propose a novel method, FedShield-LLM, that uses pruning with Fully Homomorphic Encryption (FHE) for Low-Rank Adaptation (LoRA) parameters, enabling secure computations on encrypted model updates while mitigating the attack surface by deactivating less important LoRA parameters. Furthermore, optimized federated algorithms for cross-silo environments enhance scalability and efficiency. Parameter-efficient fine-tuning techniques like LoRA substantially reduce computational and communication overhead, making FL feasible for resource-constrained clients. Experimental results show that the proposed method outperforms existing methods while maintaining robust privacy protection, enabling organizations to collaboratively train secure and efficient LLMs. The code and data are available at, https://github.com/solidlabnetwork/fedshield-llm
• Abstract（参考訳）: Federated Learning(FL)は、組織全体にわたる計算リソースを活用しながら、ローカルデバイスに機密データを保持することにより、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 プライバシーとセキュリティの懸念に対処し、中小規模の組織では禁止されるLLMの相当な計算要求に関連する課題をナビゲートする。 FLは細調整によってクロスサイロアプリケーションのためのタスク固有のLCMの開発をサポートするが、データプライバシを脅かすメンバシップ推論や勾配インバージョンのような推論攻撃には弱いままである。 従来の研究では、LLMファインチューニングに差分プライバシー(DP)を使用していたが、これはプライバシの保護に有効であるにもかかわらず、モデル性能を劣化させる可能性がある。 これらの課題を克服するために,ローランド適応 (LoRA) パラメータに対するフルホモモルフィック暗号 (FHE) を用いたプルーニング手法であるFedShield-LLMを提案する。 さらに、クロスサイロ環境のための最適化されたフェデレーションアルゴリズムにより、スケーラビリティと効率性が向上する。 LoRAのようなパラメータ効率のよい微調整技術は、計算と通信のオーバーヘッドを大幅に減らし、FLはリソース制約のあるクライアントにとって実現可能である。 実験の結果,提案手法は堅牢なプライバシ保護を維持しつつ既存の手法よりも優れており,安全かつ効率的なLCMを共同で訓練することができることがわかった。 コードとデータは、https://github.com/solidlabnetwork/fedshield-llmで公開されている。

関連論文リスト

• A Federated Splitting Framework for LLMs: Security, Efficiency, and Adaptability [15.194518946737801]
  FL-LLaMAはLLaMA2をベースとしたセキュアで効率的で適応的なフェデレーション分割フレームワークである。 我々は、並列トレーニングを実現するためにクライアントバッチとサーバ階層戦略、そして推論を高速化するために注目マスク圧縮とKVキャッシュ機構を採用する。 NLU、要約、会話型QAタスクの実験では、FL-LLaMAは集中型LLaMA2に匹敵する性能を維持し、最大2倍の列車スピードアップと8倍の推論スピードアップを実現している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Decentralized Low-Rank Fine-Tuning of Large Language Models [14.75695352321115]
  我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。 BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。 これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
  論文  参考訳（メタデータ） (2025-01-26T01:56:25Z)
• FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
  特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。 ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。 提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-11-01T19:19:23Z)
• EncCluster: Scalable Functional Encryption in Federated Learning through Weight Clustering and Probabilistic Filters [3.9660142560142067]
  フェデレートラーニング(FL)は、アグリゲーションサーバにのみローカルモデルの更新を通信することで、分散デバイス間のモデルトレーニングを可能にする。 FLはモデル更新送信中に推論攻撃に弱いままである。 本稿では、重みクラスタリングによるモデル圧縮と、最近の分散型FEとプライバシ強化データエンコーディングを統合する新しい方法であるEncClusterを提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:16:50Z)
• Enhancing Security and Privacy in Federated Learning using Low-Dimensional Update Representation and Proximity-Based Defense [23.280147155814955]
  Federated Learning(FL)は、データ所有者がデータをローカライズしながらモデルを協調的にトレーニングできる、有望な機械学習パラダイムである。 その可能性にもかかわらず、FLはクライアントとサーバの両方の信頼性に関する課題に直面している。 我々は,分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗に対処するために,FLURPという新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T06:46:10Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。