論文の概要: A Survey of What to Share in Federated Learning: Perspectives on Model
Utility, Privacy Leakage, and Communication Efficiency
- arxiv url: http://arxiv.org/abs/2307.10655v1
- Date: Thu, 20 Jul 2023 07:35:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 14:08:40.413219
- Title: A Survey of What to Share in Federated Learning: Perspectives on Model
Utility, Privacy Leakage, and Communication Efficiency
- Title(参考訳): フェデレーション学習における共有性に関する調査 : モデルユーティリティ,プライバシリーク,コミュニケーション効率の展望
- Authors: Jiawei Shao, Zijian Li, Wenqiang Sun, Tailin Zhou, Yuchang Sun, Lumin
Liu, Zehong Lin, Jun Zhang
- Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシー保護のための協調トレーニングにおいて、非常に効果的なパラダイムとして登場した。
本稿では,情報共有の観点からFL法の新しい分類法を提案する。
我々は、異なる共有方法の脆弱性をプライバシ攻撃に分析し、特定のプライバシ保証を提供する防衛メカニズムをレビューする。
- 参考スコア(独自算出の注目度): 6.862848338761347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a highly effective paradigm for
privacy-preserving collaborative training among different parties. Unlike
traditional centralized learning, which requires collecting data from each
party, FL allows clients to share privacy-preserving information without
exposing private datasets. This approach not only guarantees enhanced privacy
protection but also facilitates more efficient and secure collaboration among
multiple participants. Therefore, FL has gained considerable attention from
researchers, promoting numerous surveys to summarize the related works.
However, the majority of these surveys concentrate on methods sharing model
parameters during the training process, while overlooking the potential of
sharing other forms of local information. In this paper, we present a
systematic survey from a new perspective, i.e., what to share in FL, with an
emphasis on the model utility, privacy leakage, and communication efficiency.
This survey differs from previous ones due to four distinct contributions.
First, we present a new taxonomy of FL methods in terms of the sharing methods,
which includes three categories of shared information: model sharing, synthetic
data sharing, and knowledge sharing. Second, we analyze the vulnerability of
different sharing methods to privacy attacks and review the defense mechanisms
that provide certain privacy guarantees. Third, we conduct extensive
experiments to compare the performance and communication overhead of various
sharing methods in FL. Besides, we assess the potential privacy leakage through
model inversion and membership inference attacks, while comparing the
effectiveness of various defense approaches. Finally, we discuss potential
deficiencies in current methods and outline future directions for improvement.
- Abstract(参考訳): 連合学習(federated learning, ffl)は,プライバシを保護し,異なるパーティ間のコラボレーショントレーニングにおいて,極めて効果的なパラダイムとして浮上している。
従来の集中型学習とは異なり、flはクライアントがプライベートなデータセットを公開することなく、プライバシーを保った情報を共有できる。
このアプローチは、プライバシー保護を強化するだけでなく、複数の参加者によるより効率的で安全なコラボレーションを促進する。
そのため、flは研究者からかなりの注目を集め、関連する研究をまとめるために多くの調査が進められている。
しかしながら、これらの調査の大部分は、トレーニングプロセス中にモデルパラメータを共有する方法に集中し、他の形式のローカル情報を共有する可能性を見据えている。
本稿では,FLで何を共有すべきかという新たな視点から,モデルユーティリティ,プライバシリーク,通信効率を重視した体系的な調査を行う。
この調査は4つの異なる貢献によって以前の調査と異なる。
まず、共有情報の3つのカテゴリ(モデル共有、合成データ共有、知識共有)を含む共有方法の観点から、fl法の新たな分類法を提案する。
第2に,プライバシ攻撃に対するさまざまな共有方法の脆弱性を分析し,特定のプライバシ保証を提供する防御機構をレビューする。
第3に、FLにおける様々な共有手法の性能と通信のオーバーヘッドを比較するための広範な実験を行う。
さらに,様々な防御手法の有効性を比較しながら,モデルインバージョン攻撃とメンバーシップ推論攻撃によるプライバシー漏洩の可能性を評価する。
最後に,現在の手法における潜在的な欠陥を議論し,今後の改善の方向性について概説する。
関連論文リスト
- Federated Learning Can Find Friends That Are Beneficial [11.183904362096753]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳(メタデータ) (2023-10-31T23:26:58Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - Advancing Personalized Federated Learning: Group Privacy, Fairness, and
Beyond [6.731000738818571]
Federated Learning(FL)は、機械学習モデルを分散的かつ協調的にトレーニングするためのフレームワークである。
本稿では、FLフレームワーク内で訓練されたモデルによって達成されたパーソナライズ、プライバシ保証、公平性の3つの相互作用について述べる。
グループプライバシ保証を$d$-privacyを利用して導入する手法が提案されている。
論文 参考訳(メタデータ) (2023-09-01T12:20:19Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳(メタデータ) (2023-04-04T12:04:19Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-03-30T13:14:54Z) - Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。
近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。
本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
論文 参考訳(メタデータ) (2023-02-16T02:58:22Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Mitigating Bias in Federated Learning [9.295028968787351]
本稿では,フェデレートラーニング(FL)におけるバイアスの原因について議論する。
データプライバシを損なうことなく、バイアスを軽減するために、前処理と内処理の3つの方法を提案する。
我々は、モデル性能、公平度メトリクス、バイアス学習パターンに対する影響を分析するために、複数のデータ分布に対して実験を行う。
論文 参考訳(メタデータ) (2020-12-04T08:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。