論文の概要: DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
- arxiv url: http://arxiv.org/abs/2605.10272v1
- Date: Mon, 11 May 2026 09:32:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.698983
- Title: DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
- Title（参考訳）: DP-LAC:言語モデルの個人別微調整のための軽量適応クリッピング
- Authors: Haaris Mehmood, Jie Xu, Karthikeyan Saravanan, Rogier Van Dalen, Mete Ozay,
- Abstract要約: フェデレートラーニング(FL)は、デバイス上のユーザデータを保持しながら、エッジデバイス全体にわたる大規模言語モデルの協調トレーニングを可能にする。
DP-SGDは、各クライアントのコントリビューションを閾値$C$にクリップし、ノイズを$C$に比例させることで、このリスクを軽減する。
DP-LACは,まず,プライベートヒストグラム推定を用いて,最適値の1桁以内の初期クリッピング閾値を推定する手法である。
実証実験の結果、DP-LACは最先端適応クリッピング法とバニラDP-SGDの両方に優れており、平均精度は6.6%である。
- 参考スコア（独自算出の注目度）: 25.94292199187493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) enables the collaborative training of large-scale language models (LLMs) across edge devices while keeping user data on-device. However, FL still exposes sensitive information through client-provided gradients. Differentially private stochastic gradient descent (DP-SGD) mitigates this risk by clipping each client's contribution to a threshold $C$ and adding noise proportional to $C$. Existing adaptive clipping techniques dynamically adjust $C$ but demand tedious hyperparameter tuning, which can erode the privacy budget. In this paper, we introduce DP-LAC, a method that first estimates an initial clipping threshold within an order of magnitude of the optimum using private histogram estimation, and then adapts this threshold during training without consuming additional privacy budget or introducing new hyperparameters. Empirical results show that DP-LAC outperforms both state-of-the-art adaptive clipping methods and vanilla DP-SGD, achieving an average accuracy gain of $6.6\%$.
- Abstract（参考訳）: フェデレートラーニング(FL)は、デバイス上のユーザデータを保持しながら、エッジデバイス全体にわたる大規模言語モデル(LLM)の協調トレーニングを可能にする。
しかし、FLはクライアントが提供する勾配を通じて機密情報を公開している。
差分的にプライベートな確率勾配勾配(DP-SGD)は、各クライアントのコントリビューションを閾値$C$にクリップし、ノイズを$C$に比例させることによって、このリスクを軽減する。
既存の適応型クリップ技術は、$C$を動的に調整するが、要求の面倒なハイパーパラメータチューニングは、プライバシー予算を損なう可能性がある。
本稿では,DP-LACを提案する。DP-LACは,まず,個人のヒストグラム推定を用いて,最適な範囲内で初期クリッピング閾値を推定し,そのしきい値をトレーニング中に追加のプライバシー予算を消費したり,新たなハイパーパラメータを導入することなく適応させる手法である。
実験の結果、DP-LACは最先端の適応型クリッピング法とバニラDP-SGDの両方より優れており、平均精度は6.6\%である。
関連論文リスト
- PAC-DP: Personalized Adaptive Clipping for Differentially Private Federated Learning [16.9867659381048]
PAC-DPは、連邦学習のためのパーソナライズされたAdaptive Clippingフレームワークである。
我々は,PAC-DPが,プライバシー予算に適合する従来の固定閾値アプローチを超越していることを示す。
論文 参考訳（メタデータ） (2026-03-25T07:06:33Z) - Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning [0.9861588522527782]
RLDPはDP最適化自体を近代的な深層強化学習(RL)に対応可能な閉ループ制御問題とみなす最初のフレームワークである。
GPT2-small、Llama-1B、Llama-3B、Mistral-7Bの1,600以上の実験で、RDDPは1.3-3.0.5%のパープレキシティ低減と平均5.6%のダウンストリームユーティリティゲインを実現している。
論文 参考訳（メタデータ） (2025-07-30T10:46:53Z) - Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。
トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。
証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
論文 参考訳（メタデータ） (2025-02-19T07:10:32Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳（メタデータ） (2022-06-14T19:49:44Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。