論文の概要: A Survey of What to Share in Federated Learning: Perspectives on Model
Utility, Privacy Leakage, and Communication Efficiency
- arxiv url: http://arxiv.org/abs/2307.10655v1
- Date: Thu, 20 Jul 2023 07:35:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 14:08:40.413219
- Title: A Survey of What to Share in Federated Learning: Perspectives on Model
Utility, Privacy Leakage, and Communication Efficiency
- Title（参考訳）: フェデレーション学習における共有性に関する調査 : モデルユーティリティ,プライバシリーク,コミュニケーション効率の展望
- Authors: Jiawei Shao, Zijian Li, Wenqiang Sun, Tailin Zhou, Yuchang Sun, Lumin
Liu, Zehong Lin, Jun Zhang
- Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシー保護のための協調トレーニングにおいて、非常に効果的なパラダイムとして登場した。
本稿では,情報共有の観点からFL法の新しい分類法を提案する。
我々は、異なる共有方法の脆弱性をプライバシ攻撃に分析し、特定のプライバシ保証を提供する防衛メカニズムをレビューする。
- 参考スコア（独自算出の注目度）: 6.862848338761347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a highly effective paradigm for
privacy-preserving collaborative training among different parties. Unlike
traditional centralized learning, which requires collecting data from each
party, FL allows clients to share privacy-preserving information without
exposing private datasets. This approach not only guarantees enhanced privacy
protection but also facilitates more efficient and secure collaboration among
multiple participants. Therefore, FL has gained considerable attention from
researchers, promoting numerous surveys to summarize the related works.
However, the majority of these surveys concentrate on methods sharing model
parameters during the training process, while overlooking the potential of
sharing other forms of local information. In this paper, we present a
systematic survey from a new perspective, i.e., what to share in FL, with an
emphasis on the model utility, privacy leakage, and communication efficiency.
This survey differs from previous ones due to four distinct contributions.
First, we present a new taxonomy of FL methods in terms of the sharing methods,
which includes three categories of shared information: model sharing, synthetic
data sharing, and knowledge sharing. Second, we analyze the vulnerability of
different sharing methods to privacy attacks and review the defense mechanisms
that provide certain privacy guarantees. Third, we conduct extensive
experiments to compare the performance and communication overhead of various
sharing methods in FL. Besides, we assess the potential privacy leakage through
model inversion and membership inference attacks, while comparing the
effectiveness of various defense approaches. Finally, we discuss potential
deficiencies in current methods and outline future directions for improvement.
- Abstract（参考訳）: 連合学習(federated learning, ffl)は,プライバシを保護し,異なるパーティ間のコラボレーショントレーニングにおいて,極めて効果的なパラダイムとして浮上している。
従来の集中型学習とは異なり、flはクライアントがプライベートなデータセットを公開することなく、プライバシーを保った情報を共有できる。
このアプローチは、プライバシー保護を強化するだけでなく、複数の参加者によるより効率的で安全なコラボレーションを促進する。
そのため、flは研究者からかなりの注目を集め、関連する研究をまとめるために多くの調査が進められている。
しかしながら、これらの調査の大部分は、トレーニングプロセス中にモデルパラメータを共有する方法に集中し、他の形式のローカル情報を共有する可能性を見据えている。
本稿では,FLで何を共有すべきかという新たな視点から,モデルユーティリティ,プライバシリーク,通信効率を重視した体系的な調査を行う。
この調査は4つの異なる貢献によって以前の調査と異なる。
まず、共有情報の3つのカテゴリ(モデル共有、合成データ共有、知識共有)を含む共有方法の観点から、fl法の新たな分類法を提案する。
第2に,プライバシ攻撃に対するさまざまな共有方法の脆弱性を分析し,特定のプライバシ保証を提供する防御機構をレビューする。
第3に、FLにおける様々な共有手法の性能と通信のオーバーヘッドを比較するための広範な実験を行う。
さらに,様々な防御手法の有効性を比較しながら,モデルインバージョン攻撃とメンバーシップ推論攻撃によるプライバシー漏洩の可能性を評価する。
最後に,現在の手法における潜在的な欠陥を議論し,今後の改善の方向性について概説する。
関連論文リスト
- FEDLAD: Federated Evaluation of Deep Leakage Attacks and Defenses [50.921333548391345]
フェデレーテッド・ラーニング(Federated Learning)は、分散型機械学習パラダイムをプライバシ保護するものだ。
近年の研究では、Deep Leakageと呼ばれる勾配技術によって、民間の真実データを復元できることが判明している。
本稿では、Deep Leakage攻撃と防御を評価するための総合的なベンチマークであるFEDLAD Framework(Federated Evaluation of Deep Leakage Attacks and Defenses)を紹介する。
論文 参考訳（メタデータ） (2024-11-05T11:42:26Z) - Privacy Attack in Federated Learning is Not Easy: An Experimental Study [5.065947993017158]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のために提案される分散機械学習のパラダイムである。
近年の研究では、FLはプライバシー保護を完全に保証できないことが示されている。
プライバシ攻撃FLアルゴリズムが現実的なフェデレーション環境で有効かどうかは不明だ。
論文 参考訳（メタデータ） (2024-09-28T10:06:34Z) - Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。
本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。
プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
論文 参考訳（メタデータ） (2024-09-22T00:49:10Z) - Accuracy-Privacy Trade-off in the Mitigation of Membership Inference Attack in Federated Learning [4.152322723065285]
フェデレーション・ラーニング(FL)は、機械学習において顕著な方法として現れ、複数のクライアントがトレーニングデータをプライベートに保ちながら、協力してモデルを構築することを可能にすることで、プライバシ保護を強調している。
プライバシに重点を置いているにもかかわらず、FLモデルは、メンバーシップ推論攻撃(MIA)など、様々な攻撃を受けやすい。
論文 参考訳（メタデータ） (2024-07-26T22:44:41Z) - Vertical Federated Learning for Effectiveness, Security, Applicability: A Survey [67.48187503803847]
Vertical Federated Learning(VFL)は、プライバシ保護のための分散学習パラダイムである。
近年の研究では、VFLの様々な課題に対処する有望な成果が示されている。
この調査は、最近の展開を体系的に概観する。
論文 参考訳（メタデータ） (2024-05-25T16:05:06Z) - Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-07T17:46:37Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳（メタデータ） (2023-10-31T23:26:58Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-03-30T13:14:54Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - Mitigating Bias in Federated Learning [9.295028968787351]
本稿では,フェデレートラーニング(FL)におけるバイアスの原因について議論する。
データプライバシを損なうことなく、バイアスを軽減するために、前処理と内処理の3つの方法を提案する。
我々は、モデル性能、公平度メトリクス、バイアス学習パターンに対する影響を分析するために、複数のデータ分布に対して実験を行う。
論文 参考訳（メタデータ） (2020-12-04T08:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。