Fugu-MT 論文翻訳(概要): SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA

論文の概要: SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA

arxiv url: http://arxiv.org/abs/2505.21051v1
Date: Tue, 27 May 2025 11:36:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 22:25:17.409312
Title: SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
Title（参考訳）: SHE-LoRA:不均一LoRAを用いたフェデレーションチューニングのための選択的同型暗号化
Authors: Jianmin Liu, Li Yan, Borui Li, Lei Yu, Chao Shen,
Abstract要約: SHE-LoRAは選択的同型暗号と低ランク適応を統合している。 SHE-LoRAは,非プライベートベースラインに匹敵する性能を維持していることを示す。また、通信オーバーヘッドを94.901%削減し、暗号化オーバーヘッドを99.829%削減する。
参考スコア（独自算出の注目度）: 12.458373666338082
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated fine-tuning of large language models (LLMs) is critical for improving their performance in handling domain-specific tasks. However, prior work has shown that clients' private data can actually be recovered via gradient inversion attacks. Existing privacy preservation techniques against such attacks typically entail performance degradation and high costs, making them ill-suited for clients with heterogeneous data distributions and device capabilities. In this paper, we propose SHE-LoRA, which integrates selective homomorphic encryption (HE) and low-rank adaptation (LoRA) to enable efficient and privacy-preserving federated tuning of LLMs in cross-device environment. Heterogeneous clients adaptively select partial model parameters for homomorphic encryption based on parameter sensitivity assessment, with the encryption subset obtained via negotiation. To ensure accurate model aggregation, we design a column-aware secure aggregation method and customized reparameterization techniques to align the aggregation results with the heterogeneous device capabilities of clients. Extensive experiments demonstrate that SHE-LoRA maintains performance comparable to non-private baselines, achieves strong resistance to the state-of-the-art attacks, and significantly reduces communication overhead by 94.901\% and encryption computation overhead by 99.829\%, compared to baseline. Our code is accessible at https://anonymous.4open.science/r/SHE-LoRA-8D84.
Abstract（参考訳）: 大規模言語モデル(LLM)のファインチューニングは、ドメイン固有のタスクを扱う際のパフォーマンス向上に不可欠である。しかしながら、以前の研究によると、クライアントのプライベートデータは、グラデーションインバージョンアタックによって実際に回復可能であることが示されている。このような攻撃に対する既存のプライバシ保護技術は、通常、パフォーマンスの低下と高いコストを伴い、不均一なデータ分散とデバイス機能を持つクライアントには不適当である。本稿では,SHE-LoRAを提案する。このSHE-LoRAは,選択型同型暗号(HE)とローランク適応(LoRA)を統合し,デバイス間環境におけるLLMの効率的かつプライバシ保護可能なフェデレーションチューニングを実現する。不均一なクライアントは、パラメータ感度評価に基づく同型暗号化のための部分的モデルパラメータを、交渉によって得られる暗号化サブセットで適応的に選択する。モデルアグリゲーションの精度を確保するため、列認識型セキュアアグリゲーション法とリパラメータ化手法を設計し、アグリゲーション結果をクライアントの異種デバイス機能と整合させる。大規模な実験では、SHE-LoRAは非プライベートベースラインに匹敵する性能を維持し、最先端攻撃に対する強い抵抗を達成し、通信オーバーヘッドを94.901\%、暗号化処理オーバーヘッドを99.829\%削減している。私たちのコードはhttps://anonymous.4open.science/r/SHE-LoRA-8D84でアクセスできます。

関連論文リスト

Defending the Edge: Representative-Attention for Mitigating Backdoor Attacks in Federated Learning [7.808916974942399]
不均一エッジデバイスは、多種多様で非独立で、同一に分散された(非IID)データを生成する。本稿では, 悪意のあるクライアントと良識を区別するための, FeRA という, 表現力に基づく防衛機構を提案する。本評価では,エッジデバイスに典型的な非IIDデータ分散に挑戦するなど,さまざまなFLシナリオにおけるFeRAの堅牢性を示す。
論文参考訳（メタデータ） (2025-05-15T13:44:32Z)
HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [30.345920952847752]
大規模言語モデル(LLM)は、自然言語処理領域などに革命をもたらし、目覚ましいブレークスルーを達成した。膨大なパラメータサイズのため、様々な下流タスクのためのプライベートデータでこれらのモデルを微調整することが主流になっている。本研究では,分割学習(SL)と低ランク適応(LoRA)に基づくフレームワークであるHSplitLoRAを提案する。
論文参考訳（メタデータ） (2025-05-05T17:09:19Z)
Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
論文参考訳（メタデータ） (2025-04-27T04:26:02Z)
Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
論文参考訳（メタデータ） (2025-03-31T09:18:42Z)
FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
論文参考訳（メタデータ） (2025-03-10T11:55:50Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
Encryption-Friendly LLM Architecture [11.386436468650016]
ホモモルフィック暗号(homomorphic encryption, HE)は、暗号状態における算術演算をサポートする暗号プロトコルである。本稿では,パーソナライズされた(プライベートな)微調整による推論を重視した改良型HE-Friendly Transformerアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-10-03T13:48:35Z)
Federated Instruction Tuning of LLMs with Domain Coverage Augmentation [87.49293964617128]
Federated Domain-specific Instruction Tuning (FedDIT)は、限られたクロスクライアントなプライベートデータと、命令拡張のさまざまな戦略を利用する。我々は,欲求のあるクライアントセンターの選択と検索に基づく拡張を通じて,ドメインカバレッジを最適化するFedDCAを提案する。クライアント側の計算効率とシステムのスケーラビリティのために、FedDCAの変種であるFedDCA$*$はサーバ側の特徴アライメントを備えた異種エンコーダを利用する。
論文参考訳（メタデータ） (2024-09-30T09:34:31Z)
EncCluster: Scalable Functional Encryption in Federated Learning through Weight Clustering and Probabilistic Filters [3.9660142560142067]
フェデレートラーニング(FL)は、アグリゲーションサーバにのみローカルモデルの更新を通信することで、分散デバイス間のモデルトレーニングを可能にする。 FLはモデル更新送信中に推論攻撃に弱いままである。本稿では、重みクラスタリングによるモデル圧縮と、最近の分散型FEとプライバシ強化データエンコーディングを統合する新しい方法であるEncClusterを提案する。
論文参考訳（メタデータ） (2024-06-13T14:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。