論文の概要: Communication Efficient and Provable Federated Unlearning
- arxiv url: http://arxiv.org/abs/2401.11018v1
- Date: Fri, 19 Jan 2024 20:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 18:32:47.729682
- Title: Communication Efficient and Provable Federated Unlearning
- Title（参考訳）: 効率的で証明可能な連合学習
- Authors: Youming Tao, Cheng-Long Wang, Miao Pan, Dongxiao Yu, Xiuzhen Cheng, Di
Wang
- Abstract要約: 我々は、フェデレーション・アンラーニング(フェデレーション・アンラーニング)という、特定のクライアントやデータポイントが、フェデレーション・ラーニング(FL)を通じて学習したグローバルモデルに与える影響をなくすための新しい問題について研究する。
この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。
我々は,テキストコミュニケーション効率とテキストテキサクト・アンラーニング性という2つの重要な基準を満たす,正確な非ラーニングのための新しいフレームワークを導入する。
- 参考スコア（独自算出の注目度）: 43.178460522012934
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study federated unlearning, a novel problem to eliminate the impact of
specific clients or data points on the global model learned via federated
learning (FL). This problem is driven by the right to be forgotten and the
privacy challenges in FL. We introduce a new framework for exact federated
unlearning that meets two essential criteria: \textit{communication efficiency}
and \textit{exact unlearning provability}. To our knowledge, this is the first
work to tackle both aspects coherently. We start by giving a rigorous
definition of \textit{exact} federated unlearning, which guarantees that the
unlearned model is statistically indistinguishable from the one trained without
the deleted data. We then pinpoint the key property that enables fast exact
federated unlearning: total variation (TV) stability, which measures the
sensitivity of the model parameters to slight changes in the dataset.
Leveraging this insight, we develop a TV-stable FL algorithm called
\texttt{FATS}, which modifies the classical
\texttt{\underline{F}ed\underline{A}vg} algorithm for \underline{T}V
\underline{S}tability and employs local SGD with periodic averaging to lower
the communication round. We also design efficient unlearning algorithms for
\texttt{FATS} under two settings: client-level and sample-level unlearning. We
provide theoretical guarantees for our learning and unlearning algorithms,
proving that they achieve exact federated unlearning with reasonable
convergence rates for both the original and unlearned models. We empirically
validate our framework on 6 benchmark datasets, and show its superiority over
state-of-the-art methods in terms of accuracy, communication cost, computation
cost, and unlearning efficacy.
- Abstract（参考訳）: フェデレーション学習 (federated learning, fl) によって学習されるグローバルモデルに対する,特定のクライアントやデータポイントの影響を解消する新しい問題であるフェデレーション学習 (federated unlearning) について検討した。
この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。
我々は,2つの本質的な基準である \textit{communication efficiency} と \textit{exact unlearning provability} を満たした,正確なフェデレーションアンラーニングのための新しいフレームワークを提案する。
私たちの知る限り、両方の側面に一貫性を持って取り組むのは、これが初めてです。
まず、未学習モデルが削除されたデータなしで訓練されたモデルと統計的に区別できないことを保証します。
次に、高速で正確なフェデレートされた未学習を可能にする重要な特性、すなわち、データセットのわずかな変化に対するモデルパラメータの感度を測定する総変量(TV)安定性を特定します。
この知見を生かして,古典的 \texttt{\underline{F}ed\underline{A}vg} アルゴリズムを \underline{T}V \underline{S}tability に対して修正し,周期的平均化による局所SGDを用いて通信ラウンドを下げる,テレビ安定FLアルゴリズムである \textt{FATS} を開発した。
また、クライアントレベルとサンプルレベルのアンラーニングという2つの設定の下で、効率的なアンラーニングアルゴリズムを設計しました。
学習アルゴリズムと学習未学習アルゴリズムに理論的な保証を提供し、元のモデルと学習未学習モデルの両方に対して妥当な収束率で正確な連合未学習を達成することを証明します。
我々は6つのベンチマークデータセットのフレームワークを実証的に検証し,その精度,通信コスト,計算コスト,学習効率の面で最先端手法よりも優れていることを示す。
関連論文リスト
- Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳（メタデータ） (2023-07-07T03:07:26Z) - Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。
また,学習過程におけるコストを考慮したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-18T15:14:16Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。
我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。
実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
論文 参考訳（メタデータ） (2022-06-21T17:45:35Z) - Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。
FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。
提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
論文 参考訳（メタデータ） (2022-06-11T16:21:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳（メタデータ） (2020-12-06T15:46:04Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。