論文の概要: FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model
- arxiv url: http://arxiv.org/abs/2506.05640v1
- Date: Fri, 06 Jun 2025 00:05:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-09 17:28:43.268644
- Title: FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model
- Title（参考訳）: FedShield-LLM: セキュアでスケーラブルなFederated Fine-Tuned Large Language Model
- Authors: Md Jueal Mia, M. Hadi Amini,
- Abstract要約: Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。
FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。
ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
- 参考スコア（独自算出の注目度）: 0.48342038441006796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) offers a decentralized framework for training and fine-tuning Large Language Models (LLMs) by leveraging computational resources across organizations while keeping sensitive data on local devices. It addresses privacy and security concerns while navigating challenges associated with the substantial computational demands of LLMs, which can be prohibitive for small and medium-sized organizations. FL supports the development of task-specific LLMs for cross-silo applications through fine-tuning but remains vulnerable to inference attacks, such as membership inference and gradient inversion, which threaten data privacy. Prior studies have utilized Differential Privacy (DP) in LLM fine-tuning, which, despite being effective at preserving privacy, can degrade model performance. To overcome these challenges, we propose a novel method, FedShield-LLM, that uses pruning with Fully Homomorphic Encryption (FHE) for Low-Rank Adaptation (LoRA) parameters, enabling secure computations on encrypted model updates while mitigating the attack surface by deactivating less important LoRA parameters. Furthermore, optimized federated algorithms for cross-silo environments enhance scalability and efficiency. Parameter-efficient fine-tuning techniques like LoRA substantially reduce computational and communication overhead, making FL feasible for resource-constrained clients. Experimental results show that the proposed method outperforms existing methods while maintaining robust privacy protection, enabling organizations to collaboratively train secure and efficient LLMs. The code and data are available at, https://github.com/solidlabnetwork/fedshield-llm
- Abstract（参考訳）: Federated Learning(FL)は、組織全体にわたる計算リソースを活用しながら、ローカルデバイスに機密データを保持することにより、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。
プライバシーとセキュリティの懸念に対処し、中小規模の組織では禁止されるLLMの相当な計算要求に関連する課題をナビゲートする。
FLは細調整によってクロスサイロアプリケーションのためのタスク固有のLCMの開発をサポートするが、データプライバシを脅かすメンバシップ推論や勾配インバージョンのような推論攻撃には弱いままである。
従来の研究では、LLMファインチューニングに差分プライバシー(DP)を使用していたが、これはプライバシの保護に有効であるにもかかわらず、モデル性能を劣化させる可能性がある。
これらの課題を克服するために,ローランド適応 (LoRA) パラメータに対するフルホモモルフィック暗号 (FHE) を用いたプルーニング手法であるFedShield-LLMを提案する。
さらに、クロスサイロ環境のための最適化されたフェデレーションアルゴリズムにより、スケーラビリティと効率性が向上する。
LoRAのようなパラメータ効率のよい微調整技術は、計算と通信のオーバーヘッドを大幅に減らし、FLはリソース制約のあるクライアントにとって実現可能である。
実験の結果,提案手法は堅牢なプライバシ保護を維持しつつ既存の手法よりも優れており,安全かつ効率的なLCMを共同で訓練することができることがわかった。
コードとデータは、https://github.com/solidlabnetwork/fedshield-llmで公開されている。
関連論文リスト
- FuSeFL: Fully Secure and Scalable Cross-Silo Federated Learning [0.8686220240511062]
フェデレートラーニング(FL)は、クライアントデータを集中化せずに協調的なモデルトレーニングを可能にするため、プライバシに敏感なドメインには魅力的である。
クロスサイロ設定用に設計された完全セキュアでスケーラブルなFLスキームであるFuSeFLを提案する。
論文 参考訳（メタデータ） (2025-07-18T00:50:44Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - SOFT: Selective Data Obfuscation for Protecting LLM Fine-tuning against Membership Inference Attacks [17.77094760401298]
メンバーシップ推論攻撃(MIA)に対する微調整大言語モデルの脆弱性について検討する。
プライバシー保護とプライバシー保護のバランスをとるために,影響のあるデータ選択を調整可能なパラメータで活用することで,プライバシーの漏洩を緩和する新しい防衛手法であるSOFTを提案する。
論文 参考訳（メタデータ） (2025-06-12T07:23:56Z) - A Federated Splitting Framework for LLMs: Security, Efficiency, and Adaptability [15.194518946737801]
FL-LLaMAはLLaMA2をベースとしたセキュアで効率的で適応的なフェデレーション分割フレームワークである。
我々は、並列トレーニングを実現するためにクライアントバッチとサーバ階層戦略、そして推論を高速化するために注目マスク圧縮とKVキャッシュ機構を採用する。
NLU、要約、会話型QAタスクの実験では、FL-LLaMAは集中型LLaMA2に匹敵する性能を維持し、最大2倍の列車スピードアップと8倍の推論スピードアップを実現している。
論文 参考訳（メタデータ） (2025-05-21T15:58:08Z) - Decentralized Low-Rank Fine-Tuning of Large Language Models [14.75695352321115]
我々は,Low-Rank Adaptation (LoRA)に基づく大規模言語モデル(LLM)のための分散微調整アルゴリズムであるDec-LoRAを提案する。
BERT と LLaMA の実験により,Dec-LoRA は様々な条件下で集中型 LoRA に匹敵する性能を示した。
これらの結果は、分散環境におけるスケーラブルな微調整のためのDec-LoRAの可能性を強調している。
論文 参考訳（メタデータ） (2025-01-26T01:56:25Z) - Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。
ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。
提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文 参考訳（メタデータ） (2024-11-01T19:19:23Z) - EncCluster: Scalable Functional Encryption in Federated Learning through Weight Clustering and Probabilistic Filters [3.9660142560142067]
フェデレートラーニング(FL)は、アグリゲーションサーバにのみローカルモデルの更新を通信することで、分散デバイス間のモデルトレーニングを可能にする。
FLはモデル更新送信中に推論攻撃に弱いままである。
本稿では、重みクラスタリングによるモデル圧縮と、最近の分散型FEとプライバシ強化データエンコーディングを統合する新しい方法であるEncClusterを提案する。
論文 参考訳（メタデータ） (2024-06-13T14:16:50Z) - Enhancing Security and Privacy in Federated Learning using Low-Dimensional Update Representation and Proximity-Based Defense [23.280147155814955]
Federated Learning(FL)は、データ所有者がデータをローカライズしながらモデルを協調的にトレーニングできる、有望な機械学習パラダイムである。
その可能性にもかかわらず、FLはクライアントとサーバの両方の信頼性に関する課題に直面している。
我々は,分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗に対処するために,FLURPという新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2024-05-29T06:46:10Z) - Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。
無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。
本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
論文 参考訳（メタデータ） (2024-04-20T02:30:21Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳（メタデータ） (2024-03-19T07:25:02Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳（メタデータ） (2023-12-11T13:03:21Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。