論文の概要: Local Layer-wise Differential Privacy in Federated Learning

• arxiv url: http://arxiv.org/abs/2601.01737v1
• Date: Mon, 05 Jan 2026 02:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.73213
• Title: Local Layer-wise Differential Privacy in Federated Learning
• Title（参考訳）: フェデレーション学習における局所的層次差分プライバシー
• Authors: Yunbo Li, Jiaping Gui, Fanchao Meng, Yue Wu,
• Abstract要約: Federated Learning(FL)は、直接的なデータ共有なしに協調的なモデルトレーニングを可能にするが、モデル反転やメンバシップ推論といったプライバシ攻撃には弱いままである。 既存のFLの差分プライバシ(DP)ソリューションは、しばしばモデル全体にわたってノイズを均一に注入し、最適なプライバシとユーティリティのトレードオフを提供しながら、実用性を低下させる。 モデル精度を維持しながらプライバシ保護を最適化するFL用レイヤワイド適応型ノイズ注入機構であるLaDPを提案する。
• 参考スコア（独自算出の注目度）: 9.065322387043544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables collaborative model training without direct data sharing, yet it remains vulnerable to privacy attacks such as model inversion and membership inference. Existing differential privacy (DP) solutions for FL often inject noise uniformly across the entire model, degrading utility while providing suboptimal privacy-utility tradeoffs. To address this, we propose LaDP, a novel layer-wise adaptive noise injection mechanism for FL that optimizes privacy protection while preserving model accuracy. LaDP leverages two key insights: (1) neural network layers contribute unevenly to model utility, and (2) layer-wise privacy leakage can be quantified via KL divergence between local and global model distributions. LaDP dynamically injects noise into selected layers based on their privacy sensitivity and importance to model performance. We provide a rigorous theoretical analysis, proving that LaDP satisfies $(ε, δ)$-DP guarantees and converges under bounded noise. Extensive experiments on CIFAR-10/100 datasets demonstrate that LaDP reduces noise injection by 46.14% on average compared to state-of-the-art (SOTA) methods while improving accuracy by 102.99%. Under the same privacy budget, LaDP outperforms SOTA solutions like Dynamic Privacy Allocation LDP and AdapLDP by 25.18% and 6.1% in accuracy, respectively. Additionally, LaDP robustly defends against reconstruction attacks, increasing the FID of the reconstructed private data by $>$12.84% compared to all baselines. Our work advances the practical deployment of privacy-preserving FL with minimal utility loss.
• Abstract（参考訳）: Federated Learning(FL)は、直接的なデータ共有なしに協調的なモデルトレーニングを可能にするが、モデル反転やメンバシップ推論といったプライバシ攻撃には弱いままである。 既存のFLの差分プライバシ(DP)ソリューションは、しばしばモデル全体にわたってノイズを均一に注入し、最適なプライバシとユーティリティのトレードオフを提供しながら実用性を低下させる。 そこで本研究では,モデル精度を維持しながらプライバシ保護を最適化するFL用レイヤワイド適応型ノイズ注入機構であるLaDPを提案する。 LaDPは、(1)ニューラルネットワーク層がモデルユーティリティに不均一に寄与する、(2)レイヤワイドのプライバシリークは、ローカルとグローバルのモデルディストリビューション間のKL分散を通じて定量化できる、という2つの重要な洞察を活用する。 LaDPは、プライバシの感度とパフォーマンスのモデル化の重要性に基づいて、選択したレイヤに動的にノイズを注入する。 厳密な理論的解析を行い、LaDPが$(ε, δ)$-DP保証を満たし、有界雑音下で収束することを証明した。 CIFAR-10/100データセットの大規模な実験により、LaDPは最先端(SOTA)法と比較してノイズ注入を平均46.14%削減し、精度は102.99%向上した。 同じプライバシー予算の下で、LaDPはDynamic Privacy Allocation LDPやAdapLDPといったSOTAソリューションをそれぞれ25.18%、精度6.1%で上回っている。 さらに、LaDPは再建攻撃を強く擁護し、再建されたプライベートデータのFIDを全てのベースラインと比較して12.84%以上増やしている。 当社の作業は、最小限のユーティリティ損失で、プライバシ保護FLの実践的な展開を進めています。

関連論文リスト

• Efficient Differentially Private Fine-Tuning of LLMs via Reinforcement Learning [0.9861588522527782]
  RLDPはDP最適化自体を近代的な深層強化学習(RL)に対応可能な閉ループ制御問題とみなす最初のフレームワークである。 GPT2-small、Llama-1B、Llama-3B、Mistral-7Bの1,600以上の実験で、RDDPは1.3-3.0.5%のパープレキシティ低減と平均5.6%のダウンストリームユーティリティゲインを実現している。
  論文  参考訳（メタデータ） (2025-07-30T10:46:53Z)
• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。