論文の概要: FUPareto: Bridging the Forgetting-Utility Gap in Federated Unlearning via Pareto Augmented Optimization
- arxiv url: http://arxiv.org/abs/2602.01852v1
- Date: Mon, 02 Feb 2026 09:25:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.039517
- Title: FUPareto: Bridging the Forgetting-Utility Gap in Federated Unlearning via Pareto Augmented Optimization
- Title(参考訳): FUPareto: Pareto Augmented Optimizationを通じて、フェデレーションアンラーニングにおける予測と実用のギャップを埋める
- Authors: Zeyan Wang, Zhengmao Liu, Yongxin Cai, Chi Li, Xiaoying Tang, Jingchao Chen, Zibin Pan, Jing Qiu,
- Abstract要約: Federated Unlearning (FU) は、フェデレートされたモデルから特定のクライアントデータの影響を効率的に取り除き、残りのクライアントのユーティリティを保存することを目的としている。
本稿では,Pareto-augmented Optimization を用いた効率的なアンラーニングフレームワーク FUPareto を提案する。
FUParetoは、未学習の有効性と維持性の両方において、最先端のFUメソッドを一貫して上回っている。
- 参考スコア(独自算出の注目度): 10.490345367228633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Unlearning (FU) aims to efficiently remove the influence of specific client data from a federated model while preserving utility for the remaining clients. However, three key challenges remain: (1) existing unlearning objectives often compromise model utility or increase vulnerability to Membership Inference Attacks (MIA); (2) there is a persistent conflict between forgetting and utility, where further unlearning inevitably harms retained performance; and (3) support for concurrent multi-client unlearning is poor, as gradient conflicts among clients degrade the quality of forgetting. To address these issues, we propose FUPareto, an efficient unlearning framework via Pareto-augmented optimization. We first introduce the Minimum Boundary Shift (MBS) Loss, which enforces unlearning by suppressing the target class logit below the highest non-target class logit; this can improve the unlearning efficiency and mitigate MIA risks. During the unlearning process, FUPareto performs Pareto improvement steps to preserve model utility and executes Pareto expansion to guarantee forgetting. Specifically, during Pareto expansion, the framework integrates a Null-Space Projected Multiple Gradient Descent Algorithm (MGDA) to decouple gradient conflicts. This enables effective, fair, and concurrent unlearning for multiple clients while minimizing utility degradation. Extensive experiments across diverse scenarios demonstrate that FUPareto consistently outperforms state-of-the-art FU methods in both unlearning efficacy and retained utility.
- Abstract(参考訳): Federated Unlearning (FU) は、フェデレートされたモデルから特定のクライアントデータの影響を効率的に取り除き、残りのクライアントのユーティリティを保存することを目的としている。
しかし,(1) 既存の未学習目標がユーティリティのモデルに妥協したり,(MIA) メンバーシップ推論攻撃(MIA) に対する脆弱性を増大させたりすること,(2) 忘れることとユーティリティの間には永続的な対立があり,そこでは,学習の継続が必然的にパフォーマンスを損なうこと,(3) クライアント間の勾配の矛盾が忘れの質を低下させるため,同時マルチクライアント未学習のサポートが不十分である,という3つの課題が残っている。
これらの問題に対処するため,我々は,Pareto-augmented Optimization を用いた効率的なアンラーニングフレームワーク FUPareto を提案する。
まず、最小境界シフト(MBS)ロスを導入し、ターゲットクラスロジットを最上位の非ターゲットクラスロジット以下に抑えることにより、未学習の効率を向上し、MIAリスクを軽減する。
非学習プロセスの間、FUParetoはモデルユーティリティを保存するためにParetoの改善ステップを実行し、Pareto拡張を実行して、忘れることを保証する。
具体的には、Pareto拡張の間、このフレームワークはNull-Space Projected Multiple Gradient Descent Algorithm (MGDA)を統合して勾配競合を分離する。
これにより、ユーティリティの劣化を最小限に抑えながら、複数のクライアントに対して効果的で公平で同時的なアンラーニングが可能になる。
多様なシナリオにわたる大規模な実験により、FUParetoは、未学習の有効性と有効性の両方において、最先端のFUメソッドを一貫して上回っていることが示された。
関連論文リスト
- CAFEDistill: Learning Personalized and Dynamic Models through Federated Early-Exit Network Distillation [19.929238121979708]
CAFEDistillは、Conflict-Aware Federated Exit Distillationフレームワークである。
浅い出口と深い出口の間の干渉を軽減し、効果的なパーソナライズされた知識伝達を可能にする。
精度を高め、推論コストを30.79%から46.86%削減する。
論文 参考訳(メタデータ) (2026-01-15T02:52:12Z) - Hierarchical Federated Unlearning for Large Language Models [5.406594712642111]
大きな言語モデル(LLM)は、現実のアプリケーションにますます統合され、プライバシやセキュリティ、望ましくない知識を取り除く必要性への懸念が高まっている。
スケーラブルでプライバシーを保護できるLLMのためのフェデレーション・アンラーニング・アプローチを提案する。
本手法は,タスク固有のアダプタ学習を通じて学習と保持を分離し,競合する目的を緩和するために階層的なマージ戦略を採用する。
論文 参考訳(メタデータ) (2025-10-19T04:24:51Z) - OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。
我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。
OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-09-26T15:31:32Z) - UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。
UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
論文 参考訳(メタデータ) (2025-05-21T15:53:28Z) - Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳(メタデータ) (2024-05-24T14:20:09Z) - Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。
本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T08:41:45Z) - Optimizing Privacy, Utility and Efficiency in Constrained
Multi-Objective Federated Learning [20.627157142499378]
我々はNSGA-IIとPSLに基づく2つの改良されたCMOFLアルゴリズムを開発した。
3つのプライバシ保護機構のための,プライバシリーク,ユーティリティ損失,トレーニングコストの具体的な測定を設計する。
3つの保護機構のそれぞれで実施した実証実験により,提案アルゴリズムの有効性が示された。
論文 参考訳(メタデータ) (2023-04-29T17:55:38Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳(メタデータ) (2021-06-20T13:51:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。