論文の概要: Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning

• arxiv url: http://arxiv.org/abs/2303.04274v1
• Date: Tue, 7 Mar 2023 22:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 15:34:42.121078
• Title: Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning
• Title（参考訳）: フェデレート学習におけるプライバシとユーティリティのバランスのための振幅可変摂動
• Authors: Xin Yuan, Wei Ni, Ming Ding, Kang Wei, Jun Li, and H. Vincent Poor
• Abstract要約: 本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
• 参考スコア（独自算出の注目度）: 86.08285033925597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While preserving the privacy of federated learning (FL), differential privacy (DP) inevitably degrades the utility (i.e., accuracy) of FL due to model perturbations caused by DP noise added to model updates. Existing studies have considered exclusively noise with persistent root-mean-square amplitude and overlooked an opportunity of adjusting the amplitudes to alleviate the adverse effects of the noise. This paper presents a new DP perturbation mechanism with a time-varying noise amplitude to protect the privacy of FL and retain the capability of adjusting the learning performance. Specifically, we propose a geometric series form for the noise amplitude and reveal analytically the dependence of the series on the number of global aggregations and the $(\epsilon,\delta)$-DP requirement. We derive an online refinement of the series to prevent FL from premature convergence resulting from excessive perturbation noise. Another important aspect is an upper bound developed for the loss function of a multi-layer perceptron (MLP) trained by FL running the new DP mechanism. Accordingly, the optimal number of global aggregations is obtained, balancing the learning and privacy. Extensive experiments are conducted using MLP, supporting vector machine, and convolutional neural network models on four public datasets. The contribution of the new DP mechanism to the convergence and accuracy of privacy-preserving FL is corroborated, compared to the state-of-the-art Gaussian noise mechanism with a persistent noise amplitude.
• Abstract（参考訳）: フェデレーション学習(FL)のプライバシを保存する一方で、差分プライバシー(DP)はモデル更新に付加されたDPノイズによるモデル摂動により、必然的にFLの有用性(すなわち精度)を低下させる。 既存の研究では、根-平均2乗振幅の持続的なノイズのみを考慮し、ノイズの悪影響を軽減するために振幅を調整する機会を見落としている。 本稿では,flのプライバシーを保護し,学習性能の調整能力を維持するため,時間変動雑音振幅を有する新しいdp摂動機構を提案する。 具体的には,雑音振幅の幾何級数形式を提案し,大域集約数と$(\epsilon,\delta)$-dp 要求に対する系列の依存性を解析的に明らかにした。 我々は,過度な摂動雑音によるflの早期収束を防止するため,シリーズのオンライン精細化を導出する。 もう一つの重要な側面は、新しいDP機構を実行するFLによって訓練された多層パーセプトロン(MLP)の損失関数のために開発された上限である。 したがって、学習とプライバシーのバランスをとることで、最適なグローバルアグリゲーション数が得られる。 大規模な実験は、MLP、サポートベクターマシン、および4つのパブリックデータセット上の畳み込みニューラルネットワークモデルを用いて行われる。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。

関連論文リスト

• Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing [5.667290129954206]
  フェデレートラーニング(FL)はIoT(Internet of Things)環境での効率的なデータ交換に不可欠である。 プライバシ保護によるフェデレーションハイパー次元コンピューティング(FedHDPrivacy)について紹介する。 FedHDPrivacyは、前回のラウンドから累積ノイズを理論的に追跡することで、プライバシとパフォーマンスのバランスを慎重に管理する。
  論文  参考訳（メタデータ） (2024-11-02T05:00:44Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Differentially Private Online Federated Learning with Correlated Noise [8.349938538355772]
  本稿では,時間的相関雑音を用いたオンラインフェデレーション学習のための新しい微分プライベートアルゴリズムを提案する。 本研究では,局所更新によるドリフト誤差を準強凸条件下で効果的に管理できることを示す。
  論文  参考訳（メタデータ） (2024-03-25T08:35:19Z)
• Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。 本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T03:01:15Z)
• Spectrum Breathing: Protecting Over-the-Air Federated Learning Against Interference [73.63024765499719]
  モバイルネットワークは、近隣のセルやジャマーからの干渉によって損なわれる可能性がある。 本稿では,帯域幅拡大を伴わない干渉を抑制するために,カスケード段階のプルーニングとスペクトル拡散を行うスペクトルブリーチングを提案する。 呼吸深度によって制御された勾配プルーニングと干渉誘発誤差の間には,性能的トレードオフが認められた。
  論文  参考訳（メタデータ） (2023-05-10T07:05:43Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Joint Privacy Enhancement and Quantization in Federated Learning [23.36363480217293]
  Federated Learning(FL)は、エッジデバイスで利用可能なプライベートデータを使用して機械学習モデルをトレーニングするための新興パラダイムである。 共同プライバシー強化・量子化法(JoPEQ)を提案する。 所望のプライバシレベルを保持しながら、必要なビットレートに応じてデータを同時に定量化することを示す。
  論文  参考訳（メタデータ） (2022-08-23T11:42:58Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。