論文の概要: Beyond Noise: Privacy-Preserving Decentralized Learning with Virtual Nodes
- arxiv url: http://arxiv.org/abs/2404.09536v1
- Date: Mon, 15 Apr 2024 07:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 13:09:46.049249
- Title: Beyond Noise: Privacy-Preserving Decentralized Learning with Virtual Nodes
- Title(参考訳): Beyond Noise: 仮想ノードによるプライバシ保護による分散学習
- Authors: Sayan Biswas, Mathieu Even, Anne-Marie Kermarrec, Laurent Massoulie, Rafael Pires, Rishi Sharma, Martijn de Vos,
- Abstract要約: 分散学習(DL)は、サーバやユーザのデバイスを離れるデータをトレーニングすることなく、協調学習を可能にする。
Shatterは、ノードが仮想ノード(VN)を作成して、その代理として完全なモデルのチャンクを分散する、新しいDLアプローチである。
これにより、(i)攻撃者が他のノードから完全なモデルを集めるのを防ぎ、(ii)与えられたモデルチャンクを生成する元のノードのIDを隠すことにより、プライバシが向上する。
- 参考スコア(独自算出の注目度): 5.465489504952007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized learning (DL) enables collaborative learning without a server and without training data leaving the users' devices. However, the models shared in DL can still be used to infer training data. Conventional privacy defenses such as differential privacy and secure aggregation fall short in effectively safeguarding user privacy in DL. We introduce Shatter, a novel DL approach in which nodes create virtual nodes (VNs) to disseminate chunks of their full model on their behalf. This enhances privacy by (i) preventing attackers from collecting full models from other nodes, and (ii) hiding the identity of the original node that produced a given model chunk. We theoretically prove the convergence of Shatter and provide a formal analysis demonstrating how Shatter reduces the efficacy of attacks compared to when exchanging full models between participating nodes. We evaluate the convergence and attack resilience of Shatter with existing DL algorithms, with heterogeneous datasets, and against three standard privacy attacks, including gradient inversion. Our evaluation shows that Shatter not only renders these privacy attacks infeasible when each node operates 16 VNs but also exhibits a positive impact on model convergence compared to standard DL. This enhanced privacy comes with a manageable increase in communication volume.
- Abstract(参考訳): 分散学習(DL)は、サーバやユーザのデバイスを離れるデータをトレーニングすることなく、協調学習を可能にする。
しかし、DLで共有されるモデルは、トレーニングデータを推論するためにも使用できる。
差分プライバシーやセキュアアグリゲーションといった従来のプライバシ保護は、DLのユーザプライバシを効果的に保護するために不足している。
Shatterは、ノードが仮想ノード(VN)を作成して、その代理として完全なモデルのチャンクを分散する、新しいDLアプローチである。
これによりプライバシーが向上する
一 攻撃者が他のノードから完全なモデルを収集することを防止すること。
(ii)所定のモデルチャンクを生成する元のノードの同一性を隠蔽する。
理論的にはShatterの収束を証明し、Shatterがノード間で完全なモデル交換を行う場合と比較して攻撃の有効性をいかに低減するかを公式解析する。
我々は、Shatterの収束と攻撃のレジリエンスを、既存のDLアルゴリズム、異種データセット、勾配反転を含む3つの標準プライバシ攻撃で評価する。
評価の結果,各ノードが16個のVNを動作させる場合,シャッターはこれらのプライバシ攻撃を実施できないだけでなく,標準のDLに比べてモデル収束に肯定的な影響を及ぼすことがわかった。
この強化されたプライバシーは、管理可能な通信量の増加を伴う。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - Privacy-Preserving Encrypted Low-Dose CT Denoising [9.087708214721253]
最近のトレンドは、大量の自己コンパイルされたプライベートデータを持つ強力なモデルをトレーニングするサーバーだ。
モデルリークを避けるため、ユーザはデータをサーバモデルにアップロードする必要がある。
プライバシー保護クラウドサービスを実現するために,LDCTを直接暗号化ドメインに記述することを提案する。
論文 参考訳(メタデータ) (2023-10-13T13:40:25Z) - RecUP-FL: Reconciling Utility and Privacy in Federated Learning via
User-configurable Privacy Defense [9.806681555309519]
フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。
近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。
本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
論文 参考訳(メタデータ) (2023-04-11T10:59:45Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Privacy-Preserved Neural Graph Similarity Learning [99.78599103903777]
本稿では,グラフ類似性学習のためのプライバシ保存型ニューラルグラフマッチングネットワークモデルPPGMを提案する。
再構成攻撃を防ぐため、提案モデルではデバイス間でノードレベルの表現を通信しない。
グラフプロパティに対する攻撃を軽減するため、両方のベクトルの情報を含む難読化機能は通信される。
論文 参考訳(メタデータ) (2022-10-21T04:38:25Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳(メタデータ) (2022-10-05T13:13:35Z) - BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine
Learning [0.0]
我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。
グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。
異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。
また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
論文 参考訳(メタデータ) (2022-02-06T17:11:14Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-12-14T18:59:24Z) - Federated Learning in Adversarial Settings [0.8701566919381224]
フェデレートされた学習スキームは、堅牢性、プライバシ、帯域幅効率、モデルの精度の異なるトレードオフを提供します。
この拡張は、厳格なプライバシー要件があっても、プライベートではないがロバストなスキームと同じくらい効率的に機能することを示す。
これは差別化プライバシとロバストネスの基本的なトレードオフの可能性を示している。
論文 参考訳(メタデータ) (2020-10-15T14:57:02Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-08T16:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。