論文の概要: Jellyfish: Zero-Shot Federated Unlearning Scheme with Knowledge Disentanglement
- arxiv url: http://arxiv.org/abs/2604.04030v1
- Date: Sun, 05 Apr 2026 09:13:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.882397
- Title: Jellyfish: Zero-Shot Federated Unlearning Scheme with Knowledge Disentanglement
- Title(参考訳): Jellyfish: 知識の絡み合いを伴うゼロショットフェデレーションアンラーニングスキーム
- Authors: Houzhe Wang, Xiaojie Zhu, Chi Chen,
- Abstract要約: ゼロショット・フェデレーション・アンラーニング・スキームであるJellyfishを提案する。
特定のデータが削除されると、フェデレートされた学習モデルが関連情報の保持や開示をもはや行わないようにする。
- 参考スコア(独自算出の注目度): 3.7073981533932336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing importance of data privacy and security, federated unlearning emerges as a new research field dedicated to ensuring that once specific data is deleted, federated learning models no longer retain or disclose related information. In this paper, we propose a zero-shot federated unlearning scheme, named Jellyfish. It distinguishes itself from conventional federated unlearning frameworks in four key aspects: synthetic data generation, knowledge disentanglement, loss function design, and model repair. To preserve the privacy of forgotten data, we design a zero-shot unlearning mechanism that generates error-minimization noise as proxy data for the data to be forgotten. To maintain model utility, we first propose a knowledge disentanglement mechanism that regularises the output of the final convolutional layer by restricting the number of activated channels for the data to be forgotten and encouraging activation sparsity. Next, we construct a comprehensive loss function that incorporates multiple components, including hard loss, confusion loss, distillation loss, model weight drift loss, gradient harmonization, and gradient masking, to effectively align the learning trajectories of the objectives of ``forgetting" and ``retaining". Finally, we propose a zero-shot repair mechanism that leverages proxy data to restore model accuracy within acceptable bounds without accessing users' local data. To evaluate the performance of the proposed zero-shot federated unlearning scheme, we conducted comprehensive experiments across diverse settings. The results validate the effectiveness and robustness of the scheme.
- Abstract(参考訳): データプライバシとセキュリティの重要性が高まる中、フェデレートされたアンラーニングは、特定のデータが削除されると、フェデレーションされた学習モデルが関連情報を保持または開示しなくなることを保証するために、新たな研究分野として出現する。
本稿では,ゼロショット・フェデレーション・アンラーニング・スキームであるJellyfishを提案する。
これは、合成データ生成、知識のゆがみ、損失関数設計、モデル修復の4つの重要な側面において、従来の非学習フレームワークと区別する。
忘れたデータのプライバシーを維持するために,エラー最小化ノイズを発生させるゼロショットアンラーニング機構を,忘れるべきデータのプロキシデータとして設計する。
モデルの実用性を維持するため,我々はまず,データに対するアクティベートチャネルの数を制限し,アクティベーションの疎結合を促進することにより,最終畳み込み層の出力を規則化する知識分散機構を提案する。
次に, ハードロス, 混乱損失, 蒸留損失, モデルウェイトドリフト損失, 勾配調和, 勾配マスキングを含む複数の成分を包含する総合的損失関数を構築し, 目的「鍛造」と「保持」の学習軌跡を効果的に整合させる。
最後に、ユーザのローカルデータにアクセスすることなく、プロキシデータを利用して許容範囲内でモデルの精度を復元するゼロショット修復機構を提案する。
提案したゼロショット・フェデレーション・アンラーニング・スキームの性能を評価するため,多様な設定で総合的な実験を行った。
提案手法の有効性とロバスト性を検証した。
関連論文リスト
- Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。
本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
論文 参考訳(メタデータ) (2025-07-06T03:08:49Z) - Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。
この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。
本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
論文 参考訳(メタデータ) (2024-07-01T00:20:26Z) - Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。
過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。
我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-12T14:53:30Z) - Goldfish: An Efficient Federated Unlearning Framework [3.956103498302838]
Goldfishは機械学習アルゴリズムのための新しいフレームワークだ。
基本モデル、損失関数、最適化、拡張の4つのモジュールで構成されている。
既存の機械学習アルゴリズムの妥当性の低い課題に対処するため,新しい損失関数を提案する。
論文 参考訳(メタデータ) (2024-04-04T03:29:41Z) - Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。
本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。
本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
論文 参考訳(メタデータ) (2024-03-24T17:33:22Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free
Replay [52.251188477192336]
FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。
データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。
本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:30:51Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。