論文の概要: Federated Unlearning with Gradient Descent and Conflict Mitigation

• arxiv url: http://arxiv.org/abs/2412.20200v1
• Date: Sat, 28 Dec 2024 16:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:58.579168
• Title: Federated Unlearning with Gradient Descent and Conflict Mitigation
• Title（参考訳）: グラディエント・ディフレッシュと衝突緩和によるフェデレート・アンラーニング
• Authors: Zibin Pan, Zhichao Wang, Chi Li, Kaiyan Zheng, Boqi Wang, Xiaoying Tang, Junhua Zhao,
• Abstract要約: Federated Unlearning(FU)は、完全なリトレーニングなしでデータを削除するための有望な方法だと考えられている。 直交終末日(FedOSD)を用いたフェデレーション・アンラーニングを提案する。
• 参考スコア（独自算出の注目度）: 11.263010875673492
• License:
• Abstract: Federated Learning (FL) has received much attention in recent years. However, although clients are not required to share their data in FL, the global model itself can implicitly remember clients' local data. Therefore, it's necessary to effectively remove the target client's data from the FL global model to ease the risk of privacy leakage and implement ``the right to be forgotten". Federated Unlearning (FU) has been considered a promising way to remove data without full retraining. But the model utility easily suffers significant reduction during unlearning due to the gradient conflicts. Furthermore, when conducting the post-training to recover the model utility, the model is prone to move back and revert what has already been unlearned. To address these issues, we propose Federated Unlearning with Orthogonal Steepest Descent (FedOSD). We first design an unlearning Cross-Entropy loss to overcome the convergence issue of the gradient ascent. A steepest descent direction for unlearning is then calculated in the condition of being non-conflicting with other clients' gradients and closest to the target client's gradient. This benefits to efficiently unlearn and mitigate the model utility reduction. After unlearning, we recover the model utility by maintaining the achievement of unlearning. Finally, extensive experiments in several FL scenarios verify that FedOSD outperforms the SOTA FU algorithms in terms of unlearning and model utility.
• Abstract（参考訳）: 近年,フェデレートラーニング(FL)が注目されている。 しかし、クライアントはデータをFLで共有する必要はないが、グローバルモデル自体がクライアントのローカルデータを暗黙的に記憶することができる。 したがって、プライバシー漏洩のリスクを緩和し、‘忘れられる権利’を実装するために、ターゲットクライアントのデータをFLグローバルモデルから効果的に削除する必要がある。 Federated Unlearning(FU)は、完全なリトレーニングなしでデータを削除するための有望な方法だと考えられている。 しかし、モデルの実用性は、勾配の矛盾により、未学習時に容易に著しく低下する。 さらに、モデルユーティリティの回復のためにポストトレーニングを行う場合、モデルが後退し、既に学習されていないものを取り戻す傾向にある。 これらの課題に対処するため,直交ステッペストDescent (FedOSD) を用いたフェデレーション・アンラーニングを提案する。 まず,勾配上昇の収束問題を克服するために,非学習的クロスエントロピー損失を設計する。 そして、他のクライアントの勾配と非競合状態であり、ターゲットクライアントの勾配に最も近い状態で、アンラーニングのための最も急降下方向を算出する。 これにより、モデルユーティリティの削減を効率的に解き放ち、緩和することができる。 アンラーニング後のモデルユーティリティは,アンラーニングの達成度を維持して回復する。 最後に、いくつかのFLシナリオにおける広範な実験により、FedOSDが未学習およびモデルユーティリティの観点からSOTA FUアルゴリズムより優れていることが検証された。

関連論文リスト

• FedQUIT: On-Device Federated Unlearning via a Quasi-Competent Virtual Teacher [4.291269657919828]
  フェデレートラーニング(FL)は、機械学習モデルが協調的にトレーニングされた場合、個人のデータに対するより良いプライバシー保証を約束する。 FL参加者がその参加するFLフレームワークから離脱する権利を行使する場合、FLソリューションはすべての必要なステップを実行するべきである。 本稿では,FedQUITを提案する。FedQUITは知識蒸留を用いて,FLグローバルモデルからの忘れたデータの寄与を探索する新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2024-08-14T14:36:28Z)
• Fast-FedUL: A Training-Free Federated Unlearning with Provable Skew Resilience [26.647028483763137]
  我々は、Fast-FedULを紹介した。Fast-FedULは、フェデレートラーニング(FL)のための調整済みの未学習手法である。 訓練されたモデルからターゲットクライアントの影響を体系的に除去するアルゴリズムを開発した。 実験結果から、Fast-FedULはターゲットクライアントのほとんどすべてのトレースを効果的に削除し、未ターゲットクライアントの知識を維持していることがわかった。
  論文  参考訳（メタデータ） (2024-05-28T10:51:38Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Forgettable Federated Linear Learning with Certified Data Unlearning [34.532114070245576]
  フェデレート・アンラーニング(FU)は、FLでのトレーニングを必要とせずに、"忘れられる権利"と、有毒なクライアントの影響を未学習にすることへの要求に対処するために登場した。 ほとんどのFUアルゴリズムは、保持またはターゲットクライアント(未学習のクライアント)、追加の通信オーバーヘッド、潜在的なセキュリティリスクの協力を必要とする。 我々は、クライアントとの通信や追加ストレージを必要とせず、サーバがターゲットクライアントを解放することを可能にする、認証され、効率的で、セキュアな未学習戦略であるFedRemovalを提案する。
  論文  参考訳（メタデータ） (2023-06-03T23:53:57Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Federated Unlearning [24.60965999954735]
  Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。 忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。 FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
  論文  参考訳（メタデータ） (2020-12-27T08:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。