論文の概要: An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning

• arxiv url: http://arxiv.org/abs/2608.15153v1
• Date: Sat, 15 Aug 2026 10:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.211933
• Title: An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
• Title（参考訳）: 個人差分学習のための適応的グラディエント・クリッピングとノイズ注入機構
• Authors: Wenjing Wei, Alla Jammine, Farid Nait-Abdesselam,
• Abstract要約: 本稿では, DDP-SA適応性, 適応型勾配クリッピングと雑音付加機構について述べる。 静的なDDP-SAベースラインと比較して、DDP-SA-Adaptiveは通信ラウンドの数を6.81%減らし、トータルトレーニングタイムを19.21%減らし、ラウンド平均トレーニング時間を13.33%減らした。 また、テスト損失を98.74%削減し、テストR2を3.41%増加させ、モデルの精度が向上した。
• 参考スコア（独自算出の注目度）: 1.5876034680722233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private federated learning must balance privacy protection against model accuracy and training efficiency. Static gradient clipping applies a fixed threshold throughout training and across model layers, which can cause excessive clipping when the threshold is too small or unnecessarily large noise when it is too large. This paper presents DDP-SA-adaptive, an adaptive gradient clipping and noise adding mechanism for differentially private federated learning with secure aggregation. At each communication round, every client determines a separate clipping threshold for each model layer from the median of its per-sample gradient norms. The resulting layer-wise thresholds adapt to the evolving gradient distributions and calibrate the Laplace noise added before the updates are encoded and secret-shared among intermediate aggregation servers. We evaluate the proposed mechanism on a federated regression task in terms of efficiency, accuracy, privacy, convergence, clipping norm, and noise magnitude. Compared with the static DDP-SA baseline, DDP-SA-adaptive reduces the number of communication rounds by 6.81%, total training time by 19.21%, and average per-round training time by 13.33%, leading to improved training efficiency. It also reduces test loss by 98.74% and increases test R2 by 3.41%, leading to improved model accuracy. To attain R2 = 0.99, the adaptive mechanism operates with a privacy budget of approximately epsilon = 0.1, compared with epsilon = 0.4 for static DDP-SA, thus providing stronger privacy protection and achieving stronger privacy guarantees. These results demonstrate that round-wise, layer-wise adaptation can improve the privacy-accuracy-efficiency trade-off of differentially private federated learning.
• Abstract（参考訳）: 異なるプライベートなフェデレーション学習は、モデルの正確性とトレーニング効率に対するプライバシー保護のバランスをとる必要がある。 静的な勾配クリッピングは、トレーニング全体とモデル層全体にわたって一定のしきい値を適用し、しきい値が小さすぎる場合や、大きすぎる場合には不要に大きなノイズが発生する可能性がある。 本稿では,適応的な勾配クリッピングと雑音付加機構であるDDP-SA適応性について述べる。 各通信ラウンドにおいて、各クライアントは、各モデル層に対して、サンプルごとの勾配基準の中央値から、別個のクリッピングしきい値を決定する。 結果として生じる階層的な閾値は、進化する勾配分布に適応し、更新がエンコードされ、中間アグリゲーションサーバ間でシークレット共有される前に付加されるLaplaceノイズを校正する。 本稿では, 効率, 精度, プライバシー, 収束性, クリップング規範, 騒音等の観点から, フェデレーション回帰タスクのメカニズムを検証した。 静的DDP-SAベースラインと比較して、DDP-SAアダプティブは通信ラウンドの数を6.81%減らし、総トレーニング時間を19.21%減らし、ラウンド毎のトレーニング時間を13.33%減らし、訓練効率が向上した。 また、テスト損失を98.74%削減し、テストR2を3.41%増加させ、モデルの精度が向上した。 R2 = 0.99を達成するために、適応的なメカニズムは、エプシロン = 0.1のプライバシー予算で動作し、静的DDP-SAではエプシロン = 0.4のプライバシー保護が強化され、より強力なプライバシー保証が達成される。 これらの結果から, 階層的適応により, 差分的私的学習のプライバシー・精度・効率トレードオフが向上することが示唆された。

関連論文リスト

• An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
  フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。 異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:27:33Z)
• Local Layer-wise Differential Privacy in Federated Learning [9.065322387043544]
  Federated Learning(FL)は、直接的なデータ共有なしに協調的なモデルトレーニングを可能にするが、モデル反転やメンバシップ推論といったプライバシ攻撃には弱いままである。 既存のFLの差分プライバシ(DP)ソリューションは、しばしばモデル全体にわたってノイズを均一に注入し、最適なプライバシとユーティリティのトレードオフを提供しながら、実用性を低下させる。 モデル精度を維持しながらプライバシ保護を最適化するFL用レイヤワイド適応型ノイズ注入機構であるLaDPを提案する。
  論文  参考訳（メタデータ） (2026-01-05T02:23:31Z)
• PLRV-O: Advancing Differentially Private Deep Learning via Privacy Loss Random Variable Optimization [16.48480873870065]
  本稿では,パラメータ化されたDP-SGD雑音分布の広い探索空間を定義するフレームワークPLRV-Oを紹介する。 PLRV-Oは、厳格なプライバシー制約の下で実用性を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-09-08T01:06:45Z)
• Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning [0.9861588522527782]
  RLDPはDP最適化自体を近代的な深層強化学習(RL)に対応可能な閉ループ制御問題とみなす最初のフレームワークである。 GPT2-small、Llama-1B、Llama-3B、Mistral-7Bの1,600以上の実験で、RDDPは1.3-3.0.5%のパープレキシティ低減と平均5.6%のダウンストリームユーティリティゲインを実現している。
  論文  参考訳（メタデータ） (2025-07-30T10:46:53Z)
• AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks [1.7265013728931]
  本稿では,ディープニューラルネットワークに適した重要度に基づく勾配更新を備えた,新たな微分プライベートなSGDフレームワークを提案する。 AdaDPIGUは$(varepsilon, delta)$-differential privacyを満足し、収束保証を保持する。 MNISTでは、プライバシー予算が$epsilon = 8$である場合、テスト精度は99.12%に達し、非プライベートモデルとほぼ一致する。
  論文  参考訳（メタデータ） (2025-07-09T03:53:03Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
  差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。 本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
  論文  参考訳（メタデータ） (2022-10-11T16:55:54Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。