論文の概要: Federated Unlearning via Active Forgetting
- arxiv url: http://arxiv.org/abs/2307.03363v1
- Date: Fri, 7 Jul 2023 03:07:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 13:40:22.987382
- Title: Federated Unlearning via Active Forgetting
- Title（参考訳）: アクティブフォーミングによるフェデレーション・アンラーニング
- Authors: Yuyuan Li, Chaochao Chen, Xiaolin Zheng, Jiaming Zhang
- Abstract要約: インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
- 参考スコア（独自算出の注目度）: 24.060724751342047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing concerns regarding the privacy of machine learning models have
catalyzed the exploration of machine unlearning, i.e., a process that removes
the influence of training data on machine learning models. This concern also
arises in the realm of federated learning, prompting researchers to address the
federated unlearning problem. However, federated unlearning remains
challenging. Existing unlearning methods can be broadly categorized into two
approaches, i.e., exact unlearning and approximate unlearning. Firstly,
implementing exact unlearning, which typically relies on the
partition-aggregation framework, in a distributed manner does not improve time
efficiency theoretically. Secondly, existing federated (approximate) unlearning
methods suffer from imprecise data influence estimation, significant
computational burden, or both. To this end, we propose a novel federated
unlearning framework based on incremental learning, which is independent of
specific models and federated settings. Our framework differs from existing
federated unlearning methods that rely on approximate retraining or data
influence estimation. Instead, we leverage new memories to overwrite old ones,
imitating the process of \textit{active forgetting} in neurology. Specifically,
the model, intended to unlearn, serves as a student model that continuously
learns from randomly initiated teacher models. To preserve catastrophic
forgetting of non-target data, we utilize elastic weight consolidation to
elastically constrain weight change. Extensive experiments on three benchmark
datasets demonstrate the efficiency and effectiveness of our proposed method.
The result of backdoor attacks demonstrates that our proposed method achieves
satisfying completeness.
- Abstract（参考訳）: 機械学習モデルのプライバシに関する懸念が高まり、機械学習モデルに対するトレーニングデータの影響を除去するプロセスである機械学習の探索が触媒化されている。
この懸念は連合学習の領域でも生じており、研究者は連合未学習問題に対処するよう促している。
しかし、連帯学習は依然として困難である。
既存のアンラーニング手法は、正確にアンラーニングと近似アンラーニングの2つのアプローチに大別することができる。
まず、分散的な方法で分割集約フレームワークに依存する正確なアンラーニングを実装することは、理論的には時間効率を向上しない。
第二に、既存の連合型(ほぼ)アンラーニング手法は、不正確なデータの影響推定、かなりの計算負荷、あるいはその両方に苦しむ。
そこで本研究では,特定のモデルやフェデレーション設定に依存しない,インクリメンタル学習に基づく新しいフェデレーション学習フレームワークを提案する。
我々のフレームワークは、近似再トレーニングやデータ影響推定に依存する既存のフェデレーション学習手法とは異なる。
代わりに、我々は新しい記憶を利用して古い記憶を上書きし、神経学における‘textit{active forgetting’の過程を模倣する。
具体的には、このモデルは無作為に開始された教師モデルから継続的に学習する学生モデルとして機能する。
非ターゲットデータの破滅的な忘れを保存するために、弾性重みの固化を利用して、弾性的に重み変化を拘束する。
3つのベンチマークデータセットに対する大規模な実験により,提案手法の有効性と有効性を示した。
バックドア攻撃の結果,提案手法が完全性を満たすことを示す。
関連論文リスト
- RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。
訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。
以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-31T20:54:35Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。
我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
論文 参考訳（メタデータ） (2024-06-18T11:43:20Z) - Adversarial Machine Unlearning [26.809123658470693]
本稿では,機械学習モデルに対する特定のトレーニングデータの影響を取り除くことを目的とした,機械学習の課題に焦点を当てた。
伝統的に、未学習アルゴリズムの開発は、ある種のプライバシー脅威である会員推論攻撃(MIA)と並行して実行される。
未学習アルゴリズムの設計にMIAを統合するゲーム理論フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-11T20:07:22Z) - Efficient Knowledge Deletion from Trained Models through Layer-wise
Partial Machine Unlearning [2.3496568239538083]
本稿では,機械学習アルゴリズムの新たなクラスを紹介する。
第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。
第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
論文 参考訳（メタデータ） (2024-03-12T12:49:47Z) - Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。
タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。
本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文 参考訳（メタデータ） (2024-02-01T16:43:04Z) - Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。
本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T08:41:45Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳（メタデータ） (2023-04-11T02:12:02Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Learning to Reweight with Deep Interactions [104.68509759134878]
本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。
クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
論文 参考訳（メタデータ） (2020-07-09T09:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。