論文の概要: Voting-based Approaches For Differentially Private Federated Learning

• arxiv url: http://arxiv.org/abs/2010.04851v2
• Date: Tue, 16 Feb 2021 00:34:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 06:35:27.954088
• Title: Voting-based Approaches For Differentially Private Federated Learning
• Title（参考訳）: 異なる個人的フェデレーション学習のための投票に基づくアプローチ
• Authors: Yuqing Zhu, Xiang Yu, Yi-Hsuan Tsai, Francesco Pittaluga, Masoud Faraki, Manmohan chandraker and Yu-Xiang Wang
• Abstract要約: この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。 我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。 我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
• 参考スコア（独自算出の注目度）: 87.2255217230752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Federated Learning (DPFL) is an emerging field with many applications. Gradient averaging based DPFL methods require costly communication rounds and hardly work with large-capacity models, due to the explicit dimension dependence in its added noise. In this work, inspired by knowledge transfer non-federated privacy learning from Papernot et al.(2017; 2018), we design two new DPFL schemes, by voting among the data labels returned from each local model, instead of averaging the gradients, which avoids the dimension dependence and significantly reduces the communication cost. Theoretically, by applying secure multi-party computation, we could exponentially amplify the (data-dependent) privacy guarantees when the margin of the voting scores are large. Extensive experiments show that our approaches significantly improve the privacy-utility trade-off over the state-of-the-arts in DPFL.
• Abstract（参考訳）: Differentially Private Federated Learning (DPFL)は、多くのアプリケーションを持つ新興分野である。 勾配平均法に基づくdpfl法はコストのかかる通信ラウンドを必要とし、追加ノイズの明示的な次元依存性のため、大容量モデルでは動作しない。 本研究は,Papernotらによる非フェデレーションプライバシ学習にインスパイアされた。 (2017; 2018)では,次元依存を回避し通信コストを大幅に削減する勾配を平均化する代わりに,各局所モデルから返却したデータラベル間で投票を行うことにより,DPFL方式を2つ設計する。 理論的には、セキュアなマルチパーティ計算を適用することで、投票スコアのマージンが大きい場合に(データに依存しない)プライバシー保証を指数関数的に増幅することができる。 我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善することを示している。

関連論文リスト

• An Interactive Framework for Implementing Privacy-Preserving Federated Learning: Experiments on Large Language Models [7.539653242367701]
  フェデレートラーニング(FL)は、ユーザのデータをローカルデバイスに保存することで、プライバシを高める。 最近の攻撃は、トレーニング中にユーザーが共有したアップデートが、データに関する重要な情報を明らかにすることを実証している。 プライバシ実践者としての人間エンティティを統合し,モデルのプライバシとユーティリティの最適なトレードオフを決定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-11T23:07:14Z)
• Private and Communication-Efficient Federated Learning based on Differentially Private Sketches [0.4533408985664949]
  フェデレーテッド・ラーニング(FL)は、プライバシー漏洩のリスクとコミュニケーションの非効率の2つの主な課題に直面している。 そこで我々は,差分プライベートスケッチを利用したフェデレーション学習手法であるDPSFLを提案する。 提案手法のプライバシーと収束に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2024-10-08T06:50:41Z)
• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication [22.171647103023773]
  フェデレートラーニング(FL)は、分散された構造のため、大量のデータをプライベートにトレーニングすることができる。 SGDを用いたFLモデルにおいて,ユーザデータのローカル差分プライバシー(LDP)を維持するためのガウス的メカニズムを検討する。 その結果,既存のプライバシ会計法と比較して,実用性が大きく,伝送速度も低いことが保証された。
  論文  参考訳（メタデータ） (2021-02-09T10:04:18Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• D2P-Fed: Differentially Private Federated Learning With Efficient Communication [78.57321932088182]
  本稿では,差分プライバシ(DP)と連立学習(FL)におけるコミュニケーション効率を両立させる統一手法を提案する。 特にD2P-Fedは、両方の面を扱う唯一の先行作業と比較して、より強力なプライバシ保証、より良いコンポーザビリティ、より少ない通信コストを提供します。 その結果、D2P-Fedは通信コストの3分の1を節約しつつ、モデル精度の点で最先端の4.7%から13.0%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-22T06:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。