論文の概要: Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization

• arxiv url: http://arxiv.org/abs/2605.08443v1
• Date: Fri, 08 May 2026 20:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 15:17:49.166135
• Title: Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization
• Title（参考訳）: 差分的私的リファクタリングによるパラメータ効率の良いフェデレーション学習の改善
• Authors: Linh Tran, Ana Milanova, Stacy Patterson,
• Abstract要約: パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
• 参考スコア（独自算出の注目度）: 8.171217925484921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) with parameter-efficient fine-tuning, such as Low-Rank Adaptation (LoRA), enables scalable model training on distributed data. However, when combined with Differential Privacy (DP), LoRA often introduces errors during global aggregation and amplifies the negative effect of DP noise. Existing cross-silo FL approaches mitigate the aggregation error by freezing one LoRA module and applying output perturbation. However, in a restricted low-rank subspaces, this additive noise frequently overwhelms the signals of the weight matrices, leading to suboptimal accuracy. To address this vulnerability, we propose FedPower, a differentially private cross-silo FL framework that reshapes server-side aggregation. Instead of perturbing mismatched low-rank factors, FedPower explicitly reconstructs and clips full-rank client updates to bound the sensitivity. The server then projects the exact aggregated update back into a secure low-rank space using PowerDP, a novel differentially private low-rank factorization mechanism. Based on simultaneous subspace iteration, PowerDP injects calibrated DP noise prior to the final orthonormalization step, effectively mitigates the negative effect of DP noise by preserving matrix orthogonality. We provide rigorous theoretical analyses establishing sensitivity bounds for subspace projections, proving that FedPower achieves both sample-level and client-level DP. Extensive experiments on various language understanding tasks in cross-silo FL settings show that FedPower is robust against tight privacy budgets while adding negligible computational overheads. Additional empirical study on different DP noise injection schemes validates the effectiveness of PowerDP in improving the tradeoff in accuracy and privacy. Evaluation on three different membership inference attacks validates the robustness and privacy-preserving capability of the proposed framework.
• Abstract（参考訳）: 低ランク適応(LoRA)のようなパラメータ効率のよい微調整を伴うフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 しかし、差分プライバシー(DP)と組み合わせると、LoRAはグローバルアグリゲーション中にエラーを発生させ、DPノイズの負の効果を増幅する。 既存のクロスサイロFLアプローチは、1つのLoRAモジュールを凍結し、出力摂動を適用することで凝集誤差を軽減する。 しかし、制限された低ランク部分空間では、この付加雑音はしばしば重み行列の信号を圧倒し、準最適精度をもたらす。 この脆弱性に対処するため、サーバ側の集約を再活性化する差分プライベートなクロスサイロFLフレームワークであるFedPowerを提案する。 ミスマッチした低ランク要素を摂動する代わりに、FedPowerは明確に再構築し、フルランクのクライアント更新をクリップして感度を拘束する。 次にサーバは、新しい微分プライベートな低ランク分解機構であるPowerDPを使用して、正確な集約された更新を安全な低ランク空間に投影する。 同時部分空間反復に基づいて、PowerDPは最終正規化ステップの前に校正されたDPノイズを注入し、行列直交を保存することによりDPノイズの負の効果を効果的に緩和する。 我々は,FedPowerがサンプルレベルとクライアントレベルの両方のDPを達成することを証明し,サブスペース投影の感度境界を確立する厳密な理論的解析を行う。 クロスサイロFL設定におけるさまざまな言語理解タスクに関する大規模な実験は、FedPowerが厳格なプライバシー予算に対して堅牢であり、無視できる計算オーバーヘッドを追加していることを示している。 異なるDPノイズ注入方式に関する実証研究は、精度とプライバシーのトレードオフを改善するためのPowerDPの有効性を検証する。 3つの異なるメンバシップ推論攻撃の評価は、提案フレームワークの堅牢性とプライバシ保護能力を検証する。

関連論文リスト

• Lightweight Federated Learning with Differential Privacy and Straggler Resilience [19.94124499453864]
  フェデレートラーニング(FL)は、生データの代わりにモデルパラメータ交換を通じて協調的なモデルトレーニングを可能にする。 パラメータ交換による潜在的な推論攻撃を避けるため、差分プライバシー(DP)は様々な攻撃に対して厳格な保証を提供する。 提案するLightDP-FLは,信頼できないピアやサーバに対して,証明可能なDPを保証する,新しい軽量なスキームである。
  論文  参考訳（メタデータ） (2024-12-09T00:54:00Z)
• DEeR: Deviation Eliminating and Noise Regulating for Privacy-preserving Federated Low-rank Adaptation [29.30782543513243]
  我々は、UnderlineDeviation UnderlineEliminatingとNoisunderlinee Underline Regulating (DEeR)と呼ばれるプライバシー保護フェデレーションファインタニングフレームワークを提案する。 DeeRは、最先端のアプローチと比較して、公開医療データセットのパフォーマンスが向上していることを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:11:52Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。