論文の概要: ConDa: Fast Federated Unlearning with Contribution Dampening

• arxiv url: http://arxiv.org/abs/2410.04144v1
• Date: Sat, 5 Oct 2024 12:45:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 13:51:18.613782
• Title: ConDa: Fast Federated Unlearning with Contribution Dampening
• Title（参考訳）: ConDa: コントリビューションダンピングによる高速フェデレーション・アンラーニング
• Authors: Vikram S Chundawat, Pushkar Niroula, Prasanna Dhungana, Stefan Schoepf, Murari Mandal, Alexandra Brintrup,
• Abstract要約: ConDaは、各クライアントのグローバルモデルに影響を与えるパラメータを追跡することによって、効率的なアンラーニングを実行するフレームワークである。 複数のデータセットで実験を行い、ConDaがクライアントのデータを忘れるのが効果的であることを実証する。
• 参考スコア（独自算出の注目度）: 46.074452659791575
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) has enabled collaborative model training across decentralized data sources or clients. While adding new participants to a shared model does not pose great technical hurdles, the removal of a participant and their related information contained in the shared model remains a challenge. To address this problem, federated unlearning has emerged as a critical research direction, seeking to remove information from globally trained models without harming the model performance on the remaining data. Most modern federated unlearning methods use costly approaches such as the use of remaining clients data to retrain the global model or methods that would require heavy computation on client or server side. We introduce Contribution Dampening (ConDa), a framework that performs efficient unlearning by tracking down the parameters which affect the global model for each client and performs synaptic dampening on the parameters of the global model that have privacy infringing contributions from the forgetting client. Our technique does not require clients data or any kind of retraining and it does not put any computational overhead on either the client or server side. We perform experiments on multiple datasets and demonstrate that ConDa is effective to forget a client's data. In experiments conducted on the MNIST, CIFAR10, and CIFAR100 datasets, ConDa proves to be the fastest federated unlearning method, outperforming the nearest state of the art approach by at least 100x. Our emphasis is on the non-IID Federated Learning setting, which presents the greatest challenge for unlearning. Additionally, we validate ConDa's robustness through backdoor and membership inference attacks. We envision this work as a crucial component for FL in adhering to legal and ethical requirements.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散データソースまたはクライアント間で協調的なモデルトレーニングを可能にした。 共有モデルに新たな参加者を追加することは、大きな技術的ハードルにはならないが、参加者の排除と、共有モデルに含まれる関連情報の共有は、依然として課題である。 この問題に対処するために、フェデレーション付きアンラーニングが重要な研究の方向として現れ、残りのデータに対するモデル性能を損なうことなく、グローバルに訓練されたモデルから情報を取り除こうとしている。 現代のフェデレートされたアンラーニングメソッドの多くは、クライアント側やサーバ側で重い計算を必要とするグローバルモデルやメソッドをトレーニングするために、残りのクライアントデータを使用するといった、コストのかかるアプローチを使用している。 Contribution Dampening(ConDa)は、各クライアントのグローバルモデルに影響を与えるパラメータを追跡し、忘れてしまうクライアントからプライバシを侵害するグローバルモデルのパラメータをシナプス減衰させることにより、効率的なアンラーニングを行うフレームワークである。 私たちの技術では、クライアントデータや何らかの再トレーニングは必要とせず、クライアント側やサーバ側でも計算オーバーヘッドを発生させません。 複数のデータセットで実験を行い、ConDaがクライアントのデータを忘れるのが効果的であることを実証する。 MNIST、CIFAR10、CIFAR100データセットで実施された実験で、ConDaは最も高速な連邦化未学習法であることが証明され、最先端のアプローチを少なくとも100倍上回った。 私たちは、非IIDフェデレートラーニング設定に重点を置いています。 さらに、バックドアおよびメンバシップ推論攻撃によるConDaの堅牢性を検証する。 本研究は,法的・倫理的要件を遵守する上で,FLにとって重要な要素であると考えられる。

関連論文リスト

• Optimal Strategies for Federated Learning Maintaining Client Privacy [8.518748080337838]
  本稿では,フェデレートラーニングシステムのモデル性能とコミュニケーションのトレードオフについて検討する。 グローバルなトレーニングラウンド当たりの1つのローカルエポックのトレーニングは、同じプライバシ予算を維持しながら、最適なパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2025-01-24T12:34:38Z)
• Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
  産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。 フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。 我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:59:32Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
  会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。 本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
  論文  参考訳（メタデータ） (2023-08-07T03:34:01Z)
• Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
  本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。 フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。 本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
  論文  参考訳（メタデータ） (2022-11-24T13:08:43Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
  そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。 コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。 実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2020-11-14T06:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。