論文の概要: DP-FedLoRA: Privacy-Enhanced Federated Fine-Tuning for On-Device Large Language Models

• arxiv url: http://arxiv.org/abs/2509.09097v1
• Date: Thu, 11 Sep 2025 02:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.201595
• Title: DP-FedLoRA: Privacy-Enhanced Federated Fine-Tuning for On-Device Large Language Models
• Title（参考訳）: DP-FedLoRA:オンデバイス大規模言語モデルのためのプライバシ強化されたファインチューニング
• Authors: Honghui Xu, Shiva Shrestha, Wei Chen, Zhiyuan Li, Zhipeng Cai,
• Abstract要約: DP-FedLoRAは、プライバシーを強化したファインチューニングフレームワークである。 LoRAベースの適応と差分プライバシーを通信効率のよい環境で統合する。 DP-FedLoRAは、強力なプライバシ保証を提供しながら、競争性能を提供することを示す。
• 参考スコア（独自算出の注目度）: 17.265217612125905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As on-device large language model (LLM) systems become increasingly prevalent, federated fine-tuning enables advanced language understanding and generation directly on edge devices; however, it also involves processing sensitive, user-specific data, raising significant privacy concerns within the federated learning framework. To address these challenges, we propose DP-FedLoRA, a privacy-enhanced federated fine-tuning framework that integrates LoRA-based adaptation with differential privacy in a communication-efficient setting. Each client locally clips and perturbs its LoRA matrices using Gaussian noise to satisfy ($\epsilon$, $\delta$)-differential privacy. We further provide a theoretical analysis demonstrating the unbiased nature of the updates and deriving bounds on the variance introduced by noise, offering practical guidance for privacy-budget calibration. Experimental results across mainstream benchmarks show that DP-FedLoRA delivers competitive performance while offering strong privacy guarantees, paving the way for scalable and privacy-preserving LLM deployment in on-device environments.
• Abstract（参考訳）: デバイス上での大規模言語モデル(LLM)システムが普及するにつれて、フェデレートされた微調整により、エッジデバイス上での高度な言語理解と生成が可能になる。 これらの課題に対処するために,我々は,LoRAに基づく適応と差分プライバシーを通信効率のよい設定に統合した,プライバシー強化型ファインチューニングフレームワークDP-FedLoRAを提案する。 各クライアントは、Gaussianノイズ($\epsilon$, $\delta$)の差分プライバシーを満たすために、ローカルにLoRA行列をクリップし、摂動する。 さらに、更新の偏りのない性質を実証し、ノイズによって引き起こされる分散の限界を導出する理論分析を行い、プライバシー予算のキャリブレーションの実践的なガイダンスを提供する。 主要なベンチマークでの実験結果によると、DP-FedLoRAは強力なプライバシ保証を提供しながら、デバイス上の環境におけるスケーラブルでプライバシ保護のLLMデプロイメントを実現する上で、競争力のあるパフォーマンスを提供する。

関連論文リスト

• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Unified Mechanism-Specific Amplification by Subsampling and Group Privacy Amplification [54.1447806347273]
  サブサンプリングによる増幅は、差分プライバシーを持つ機械学習の主要なプリミティブの1つである。 本稿では、メカニズム固有の保証を導出するための最初の一般的なフレームワークを提案する。 サブサンプリングが複数のユーザのプライバシに与える影響を分析する。
  論文  参考訳（メタデータ） (2024-03-07T19:36:05Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。