論文の概要: A Survey of What to Share in Federated Learning: Perspectives on Model
Utility, Privacy Leakage, and Communication Efficiency
- arxiv url: http://arxiv.org/abs/2307.10655v2
- Date: Sun, 18 Feb 2024 06:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 06:37:41.546098
- Title: A Survey of What to Share in Federated Learning: Perspectives on Model
Utility, Privacy Leakage, and Communication Efficiency
- Title(参考訳): フェデレーション学習における共有性に関する調査 : モデルユーティリティ,プライバシリーク,コミュニケーション効率の展望
- Authors: Jiawei Shao, Zijian Li, Wenqiang Sun, Tailin Zhou, Yuchang Sun, Lumin
Liu, Zehong Lin, Yuyi Mao, Jun Zhang
- Abstract要約: フェデレートラーニング(FL)は、クライアント間の協調トレーニングのための安全なパラダイムとして登場した。
本稿では, モデル, 合成データ, 知識をそれぞれ共有する3つの共有手法を用いて, FL法の新しい分類法を提案する。
- 参考スコア(独自算出の注目度): 13.92252755884596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a secure paradigm for collaborative
training among clients. Without data centralization, FL allows clients to share
local information in a privacy-preserving manner. This approach has gained
considerable attention, promoting numerous surveys to summarize the related
works. However, the majority of these surveys concentrate on FL methods that
share model parameters during the training process, while overlooking the
possibility of sharing local information in other forms. In this paper, we
present a systematic survey from a new perspective of what to share in FL, with
an emphasis on the model utility, privacy leakage, and communication
efficiency. First, we present a new taxonomy of FL methods in terms of three
sharing methods, which respectively share model, synthetic data, and knowledge.
Second, we analyze the vulnerability of different sharing methods to privacy
attacks and review the defense mechanisms. Third, we conduct extensive
experiments to compare the learning performance and communication overhead of
various sharing methods in FL. Besides, we assess the potential privacy leakage
through model inversion and membership inference attacks, while comparing the
effectiveness of various defense approaches. Finally, we identify future
research directions and conclude the survey.
- Abstract(参考訳): フェデレーション学習(fl)は、クライアント間のコラボレーショントレーニングのためのセキュアなパラダイムとして登場した。
データ集中化がなければ、FLはクライアントがプライバシー保護の方法でローカル情報を共有できる。
このアプローチは大きな注目を集め、関連する研究をまとめるために多くの調査が進められた。
しかしながら、これらの調査の大部分は、トレーニングプロセス中にモデルパラメータを共有するflメソッドに集中し、他の形式でローカル情報を共有する可能性を検討している。
本稿では,FLで共有すべきものに対する新たな視点から,モデルユーティリティ,プライバシリーク,通信効率を重視した体系的な調査を行う。
まず, モデル, 合成データ, 知識をそれぞれ共有する3つの共有手法を用いて, FL法の新しい分類法を提案する。
第2に,プライバシ攻撃に対するさまざまな共有方法の脆弱性を分析し,防御機構をレビューする。
第3に、FLにおける様々な共有手法の学習性能と通信オーバーヘッドを比較するための広範な実験を行う。
さらに,様々な防御手法の有効性を比較しながら,モデルインバージョン攻撃とメンバーシップ推論攻撃によるプライバシー漏洩の可能性を評価する。
最後に,今後の研究方針を特定し,調査結果をまとめる。
関連論文リスト
- Federated Learning Can Find Friends That Are Beneficial [11.183904362096753]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳(メタデータ) (2023-10-31T23:26:58Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - Advancing Personalized Federated Learning: Group Privacy, Fairness, and
Beyond [6.731000738818571]
Federated Learning(FL)は、機械学習モデルを分散的かつ協調的にトレーニングするためのフレームワークである。
本稿では、FLフレームワーク内で訓練されたモデルによって達成されたパーソナライズ、プライバシ保証、公平性の3つの相互作用について述べる。
グループプライバシ保証を$d$-privacyを利用して導入する手法が提案されている。
論文 参考訳(メタデータ) (2023-09-01T12:20:19Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳(メタデータ) (2023-04-04T12:04:19Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-03-30T13:14:54Z) - Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。
近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。
本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
論文 参考訳(メタデータ) (2023-02-16T02:58:22Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Mitigating Bias in Federated Learning [9.295028968787351]
本稿では,フェデレートラーニング(FL)におけるバイアスの原因について議論する。
データプライバシを損なうことなく、バイアスを軽減するために、前処理と内処理の3つの方法を提案する。
我々は、モデル性能、公平度メトリクス、バイアス学習パターンに対する影響を分析するために、複数のデータ分布に対して実験を行う。
論文 参考訳(メタデータ) (2020-12-04T08:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。