論文の概要: Re-Evaluating Privacy in Centralized and Decentralized Learning: An Information-Theoretical and Empirical Study

• arxiv url: http://arxiv.org/abs/2409.14261v1
• Date: Sat, 21 Sep 2024 23:05:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 23:26:16.378357
• Title: Re-Evaluating Privacy in Centralized and Decentralized Learning: An Information-Theoretical and Empirical Study
• Title（参考訳）: 集中型・分散型学習におけるプライバシの再評価 : 情報理論と実証的研究
• Authors: Changlong Ji, Stephane Maag, Richard Heusdens, Qiongxiu Li,
• Abstract要約: Decentralized Federated Learning (DFL)は、その堅牢性とスケーラビリティに注目を集めている。 Pasquiniらによる最近の研究はこの見解に異議を唱え、DFLは経験的攻撃に対するプライバシーを本質的に改善していないことを実証している。
• 参考スコア（独自算出の注目度）: 4.7773230870500605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized Federated Learning (DFL) has garnered attention for its robustness and scalability compared to Centralized Federated Learning (CFL). While DFL is commonly believed to offer privacy advantages due to the decentralized control of sensitive data, recent work by Pasquini et, al. challenges this view, demonstrating that DFL does not inherently improve privacy against empirical attacks under certain assumptions. For investigating fully this issue, a formal theoretical framework is required. Our study offers a novel perspective by conducting a rigorous information-theoretical analysis of privacy leakage in FL using mutual information. We further investigate the effectiveness of privacy-enhancing techniques like Secure Aggregation (SA) in both CFL and DFL. Our simulations and real-world experiments show that DFL generally offers stronger privacy preservation than CFL in practical scenarios where a fully trusted server is not available. We address discrepancies in previous research by highlighting limitations in their assumptions about graph topology and privacy attacks, which inadequately capture information leakage in FL.
• Abstract（参考訳）: 分散フェデレーションラーニング(DFL)は、中央フェデレーションラーニング(CFL)と比較して、堅牢性とスケーラビリティに注目が集まっている。 一般的にDFLは機密データの分散制御によるプライバシー上の優位性を提供すると考えられているが、Pasquiniらによる最近の研究はこの見解に異議を唱え、DFLが特定の仮定の下で経験的攻撃に対するプライバシーを本質的に改善しないことを示した。 この問題を完全に調査するには、正式な理論的枠組みが必要である。 本研究は,FLにおけるプライバシー漏洩の厳密な情報理論的解析を相互情報を用いて行うことにより,新たな視点を提供する。 さらに、CFLとDFLの双方において、セキュアアグリゲーション(SA)のようなプライバシー保護手法の有効性について検討する。 我々のシミュレーションと実世界の実験は、完全に信頼されたサーバが利用できない現実的なシナリオにおいて、DFLが一般的にCFLよりも強力なプライバシー保護を提供することを示している。 FLにおける情報漏洩を不適切に捉えているグラフトポロジとプライバシ攻撃に関する仮定の限界を強調することで、これまでの研究における不一致に対処する。

関連論文リスト

• Privacy Attack in Federated Learning is Not Easy: An Experimental Study [5.065947993017158]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のために提案される分散機械学習のパラダイムである。 近年の研究では、FLはプライバシー保護を完全に保証できないことが示されている。 プライバシ攻撃FLアルゴリズムが現実的なフェデレーション環境で有効かどうかは不明だ。
  論文  参考訳（メタデータ） (2024-09-28T10:06:34Z)
• Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization [16.418338197742287]
  フェデレートラーニング(FL)は、データのソースへの配置を可能にすることによって、データのプライバシを改善するために設計されたパラダイムとして登場した。 最近の知見は、分散FLは、集中型モデルよりも追加のプライバシやセキュリティ上のメリットを経験的に提供していないことを示唆している。 分散最適化をデプロイする際の分散FLは、プライバシー保護の強化を実証する。
  論文  参考訳（メタデータ） (2024-07-12T15:01:09Z)
• Vertical Federated Learning for Effectiveness, Security, Applicability: A Survey [67.48187503803847]
  Vertical Federated Learning(VFL)は、プライバシ保護のための分散学習パラダイムである。 近年の研究では、VFLの様々な課題に対処する有望な成果が示されている。 この調査は、最近の展開を体系的に概観する。
  論文  参考訳（メタデータ） (2024-05-25T16:05:06Z)
• Analysis of Privacy Leakage in Federated Large Language Models [18.332535398635027]
  大規模言語モデル(LLM)の訓練に使用するフェデレートラーニング(FL)のプライバシ分析について検討する。 特に、様々なFL構成のプライバシー漏洩を評価するために、理論的成功率を保証した2つのアクティブメンバーシップ推論攻撃を設計する。 我々の理論的な発見は、BERT、RoBERTa、DistilBERT、OpenAIのGPTなど、人気のあるLCMの重大なプライバシー上の脆弱性を明らかにする実用的な攻撃に変換される。
  論文  参考訳（メタデータ） (2024-03-02T20:25:38Z)
• Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning [57.35402286842029]
  集中学習は常に分散学習(DFL)よりも一般化されていることを示す。 また、FLにおけるいくつかの一般的な設定について実験を行い、我々の理論解析が実験的な現象と一致し、いくつかの一般的なシナリオおよび実践シナリオにおいて文脈的に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:09:42Z)
• Decentralized Federated Learning: A Survey and Perspective [45.81975053649379]
  分散FL(DFL)は、中央サーバーを必要としない分散ネットワークアーキテクチャである。 DFLはクライアント間の直接通信を可能にし、通信リソースの大幅な節約をもたらす。
  論文  参考訳（メタデータ） (2023-06-02T15:12:58Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Unraveling the Connections between Privacy and Certified Robustness in Federated Learning Against Poisoning Attacks [68.20436971825941]
  フェデレートラーニング(FL)は、分散ユーザのデータを活用するグローバルモデルを共同でトレーニングするための、効率的なパラダイムを提供する。 いくつかの研究により、FLは毒殺攻撃に弱いことが示されている。 ローカルユーザのプライバシを保護するため、FLは通常、差分プライベートな方法でトレーニングされる。
  論文  参考訳（メタデータ） (2022-09-08T21:01:42Z)
• Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm [140.25480610981504]
  VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。 ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-19T13:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。