Fugu-MT 論文翻訳(概要): Gradient-Leakage Resilient Federated Learning

論文の概要: Gradient-Leakage Resilient Federated Learning

arxiv url: http://arxiv.org/abs/2107.01154v1
Date: Fri, 2 Jul 2021 15:51:07 GMT
ステータス: 処理完了
システム内更新日: 2021-07-05 15:11:04.130046
Title: Gradient-Leakage Resilient Federated Learning
Title（参考訳）: 勾配漏れ耐性フェデレート学習
Authors: Wenqi Wei, Ling Liu, Yanzhao Wu, Gong Su, Arun Iyengar
Abstract要約: Federated Learning(FL)は,クライアントプライバシをデフォルトとする,新たな分散学習パラダイムである。近年の研究では、FLの勾配リークがクライアントのトレーニングデータのプライバシーを損なう可能性があることが示されている。本稿では,学習例ごとのクライアント差分プライバシーを用いて,プライバシー保護フェデレーション学習への勾配リーク耐性アプローチを提案する。
参考スコア（独自算出の注目度）: 8.945356237213007
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning(FL) is an emerging distributed learning paradigm with default client privacy because clients can keep sensitive data on their devices and only share local training parameter updates with the federated server. However, recent studies reveal that gradient leakages in FL may compromise the privacy of client training data. This paper presents a gradient leakage resilient approach to privacy-preserving federated learning with per training example-based client differential privacy, coined as Fed-CDP. It makes three original contributions. First, we identify three types of client gradient leakage threats in federated learning even with encrypted client-server communications. We articulate when and why the conventional server coordinated differential privacy approach, coined as Fed-SDP, is insufficient to protect the privacy of the training data. Second, we introduce Fed-CDP, the per example-based client differential privacy algorithm, and provide a formal analysis of Fed-CDP with the $(\epsilon, \delta)$ differential privacy guarantee, and a formal comparison between Fed-CDP and Fed-SDP in terms of privacy accounting. Third, we formally analyze the privacy-utility trade-off for providing differential privacy guarantee by Fed-CDP and present a dynamic decay noise-injection policy to further improve the accuracy and resiliency of Fed-CDP. We evaluate and compare Fed-CDP and Fed-CDP(decay) with Fed-SDP in terms of differential privacy guarantee and gradient leakage resilience over five benchmark datasets. The results show that the Fed-CDP approach outperforms conventional Fed-SDP in terms of resilience to client gradient leakages while offering competitive accuracy performance in federated learning.
Abstract（参考訳）: クライアントはデバイスに機密データを保持でき、ローカルトレーニングパラメータの更新のみをフェデレーションサーバと共有できるため、フェデレーション学習(FL)は、デフォルトのクライアントプライバシを備えた、新興の分散学習パラダイムである。しかし最近の研究では、FLの勾配リークがクライアントのトレーニングデータのプライバシーを損なう可能性があることが示されている。本稿では,feed-cdpと呼ばれるサンプルベースクライアントディファレンシャルプライバシのトレーニング毎に,プライバシ保存型フェデレーション学習に対する勾配漏洩耐性アプローチを提案する。 3つのオリジナル・コントリビューションがある。まず,暗号化されたクライアントサーバ間通信においても,フェデレーション学習における3種類のクライアント勾配漏洩脅威を識別する。我々は、従来のサーバがFed-SDPとよばれる差分プライバシーアプローチが、トレーニングデータのプライバシーを保護するのに不十分な時期と理由を明確に述べる。第2に、サンプルベースのクライアント差分プライバシーアルゴリズムであるFed-CDPを導入し、$(\epsilon, \delta)$差分プライバシー保証によるFed-CDPの形式分析と、プライバシ会計の観点からFed-CDPとFed-SDPの形式比較を提供する。第三に、Fed-CDPによる差分プライバシー保証を提供するためのプライバシユーティリティトレードオフを正式に分析し、Fed-CDPの精度とレジリエンスをさらに向上させる動的減衰ノイズ注入ポリシーを提案する。 Fed-CDPとFed-CDP(decay)を5つのベンチマークデータセットに対して差分プライバシー保証と勾配リークレジリエンスの観点からFed-SDPと比較した。その結果、Fed-CDPアプローチは、クライアント勾配リークに対するレジリエンスの観点から従来のFed-SDPよりも優れており、フェデレート学習における競争精度が向上していることがわかった。

関連論文リスト

Federated Instruction Tuning of LLMs with Domain Coverage Augmentation [35.54111318340366]
Federated Domain-specific Instruction Tuning (FedDIT)は、クロスクライアントなプライベートデータとサーバサイドの公開データを使って、命令拡張を行う。我々は,欲求のあるクライアントセンターの選択と検索に基づく拡張を通じて,ドメインカバレッジを最適化するFedDCAを提案する。また,多量の公開データを用いたメモリ抽出攻撃に対するプライバシ保護についても検討した。
論文参考訳（メタデータ） (2024-09-30T09:34:31Z)
Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文参考訳（メタデータ） (2024-08-28T08:22:21Z)
Privacy-Preserving, Dropout-Resilient Aggregation in Decentralized Learning [3.9166000694570076]
分散学習(DL)は、集中集約なしでクライアントにトレーニングを分散することで、機械学習の新たなパラダイムを提供する。 DLのピアツーピアモデルは、推論攻撃やプライバシリークを防ぐための課題を提起する。本研究は,プライバシ保護DLのための3つの秘密共有型ドロップアウトレジリエンスアプローチを提案する。
論文参考訳（メタデータ） (2024-04-27T19:17:02Z)
Secure Aggregation is Not Private Against Membership Inference Attacks [66.59892736942953]
フェデレーション学習におけるSecAggのプライバシーへの影響について検討する。 SecAggは、単一のトレーニングラウンドであっても、メンバシップ推論攻撃に対して弱いプライバシを提供します。以上の結果から,ノイズ注入などの付加的なプライバシー強化機構の必要性が浮き彫りになった。
論文参考訳（メタデータ） (2024-03-26T15:07:58Z)
FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文参考訳（メタデータ） (2024-03-10T08:41:22Z)
Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
論文参考訳（メタデータ） (2023-12-23T03:31:46Z)
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文参考訳（メタデータ） (2022-01-25T04:43:29Z)
PRECAD: Privacy-Preserving and Robust Federated Learning via Crypto-Aided Differential Privacy [14.678119872268198]
フェデレートラーニング(FL)は、複数の参加するクライアントがデータセットをローカルに保持し、モデル更新のみを交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。既存のFLプロトコルの設計は、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱であることが示されている。我々はPreCADと呼ばれるフレームワークを開発し、同時に差分プライバシー(DP)を実現し、暗号の助けを借りてモデル中毒攻撃に対する堅牢性を高める。
論文参考訳（メタデータ） (2021-10-22T04:08:42Z)
Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文参考訳（メタデータ） (2021-06-25T14:47:19Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。