論文の概要: Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation

• arxiv url: http://arxiv.org/abs/2406.12516v1
• Date: Tue, 18 Jun 2024 11:43:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:17:37.207970
• Title: Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation
• Title（参考訳）: モデル記述に基づくフェデレーション・マシン・アンラーニング
• Authors: Heng Xu, Tianqing Zhu, Lefeng Zhang, Wanlei Zhou, Philip S. Yu,
• Abstract要約: モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。 我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
• 参考スコア（独自算出の注目度）: 46.86767774669831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is a promising privacy-preserving paradigm for distributed machine learning. In this context, there is sometimes a need for a specialized process called machine unlearning, which is required when the effect of some specific training samples needs to be removed from a learning model due to privacy, security, usability, and/or legislative factors. However, problems arise when current centralized unlearning methods are applied to existing federated learning, in which the server aims to remove all information about a class from the global model. Centralized unlearning usually focuses on simple models or is premised on the ability to access all training data at a central node. However, training data cannot be accessed on the server under the federated learning paradigm, conflicting with the requirements of the centralized unlearning process. Additionally, there are high computation and communication costs associated with accessing clients' data, especially in scenarios involving numerous clients or complex global models. To address these concerns, we propose a more effective and efficient federated unlearning scheme based on the concept of model explanation. Model explanation involves understanding deep networks and individual channel importance, so that this understanding can be used to determine which model channels are critical for classes that need to be unlearned. We select the most influential channels within an already-trained model for the data that need to be unlearned and fine-tune only influential channels to remove the contribution made by those data. In this way, we can simultaneously avoid huge consumption costs and ensure that the unlearned model maintains good performance. Experiments with different training models on various datasets demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: フェデレートされた学習は、分散機械学習にとって有望なプライバシー保護パラダイムである。 このコンテキストでは、特定のトレーニングサンプルの効果が、プライバシ、セキュリティ、ユーザビリティ、および/または立法要因によって学習モデルから取り除かれる必要がある場合に必要となる、マシンアンラーニングと呼ばれる特殊なプロセスが必要になることがある。 しかし、現在の集中型アンラーニング手法が既存のフェデレーション学習に適用された際には、サーバがグローバルモデルからクラスに関する情報をすべて取り除こうとする問題が発生する。 集中型アンラーニングは通常、単純なモデルに焦点を当てるか、あるいは中央ノードですべてのトレーニングデータにアクセスできることを前提としている。 しかし、集中型アンラーニングプロセスの要求に反するフェデレーション学習パラダイムの下では、サーバ上でトレーニングデータにアクセスすることはできない。 さらに、多くのクライアントや複雑なグローバルモデルを含むシナリオにおいて、クライアントのデータへのアクセスに関連する高い計算と通信コストがある。 これらの問題に対処するために、モデル説明の概念に基づくより効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。 モデル説明はディープ・ネットワークと個別のチャネルの重要性を理解することを含み、この理解を用いて、未学習のクラスにとってどのモデル・チャネルが重要なのかを判断することができる。 我々は、これらのデータから得られる貢献を取り除くために、未学習で微調整の必要なデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択する。 このようにして、巨大な消費コストを同時に回避し、未学習のモデルが優れた性能を維持することを保証する。 様々なデータセット上で異なるトレーニングモデルを用いた実験は、提案手法の有効性を示す。

関連論文リスト

• Towards Efficient Target-Level Machine Unlearning Based on Essential Graph [18.35868679190816]
  機械学習の既存の研究は、主に1つのクラスからインスタンスのクラスタやすべてのインスタンスを忘れる未学習の要求に焦点を当てている。 モデルから部分的対象を除去することに焦点を当てた、より効率的で効率的な非学習手法を提案する。 様々なデータセット上で異なるトレーニングモデルを用いた実験は、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-16T14:17:13Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Federated Unlearning via Active Forgetting [24.060724751342047]
  インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Federated Unlearning: How to Efficiently Erase a Client in FL? [9.346673106489742]
  訓練されたグローバルモデルからローカルデータ全体の影響を除去し,クライアントを消去する手法を提案する。 当社のアンラーニング手法は,スクラッチからフェデレート・リトレーニングを行うためのゴールド・スタンダード・アンラーニング手法と同等の性能を達成している。 以前の作業とは異なり、我々のアンラーニングメソッドは、トレーニングに使用されるデータへのグローバルアクセスも、サーバまたはクライアントによって格納されるパラメータ更新履歴も必要としません。
  論文  参考訳（メタデータ） (2022-07-12T13:24:23Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。