論文の概要: FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method

• arxiv url: http://arxiv.org/abs/2411.11039v1
• Date: Sun, 17 Nov 2024 11:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:26:32.971175
• Title: FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method
• Title（参考訳）: FedUHB: Polyak Heavy Ball法によるフェデレーション・アンラーニングの加速
• Authors: Yu Jiang, Chee Wei Tan, Kwok-Yan Lam,
• Abstract要約: モデルから特定のデータの影響を効果的に除去するために、フェデレート・アンラーニング(FU)が開発された。 我々は,Polyakヘビーボール最適化技術を活用した,新しい非学習手法であるFedUHBを提案する。 実験の結果,FedUHBは学習効率を向上するだけでなく,学習後の頑健なモデル性能も維持できることがわかった。
• 参考スコア（独自算出の注目度）: 17.720414283108727
• License:
• Abstract: Federated learning facilitates collaborative machine learning, enabling multiple participants to collectively develop a shared model while preserving the privacy of individual data. The growing importance of the "right to be forgotten" calls for effective mechanisms to facilitate data removal upon request. In response, federated unlearning (FU) has been developed to efficiently eliminate the influence of specific data from the model. Current FU methods primarily rely on approximate unlearning strategies, which seek to balance data removal efficacy with computational and communication costs, but often fail to completely erase data influence. To address these limitations, we propose FedUHB, a novel exact unlearning approach that leverages the Polyak heavy ball optimization technique, a first-order method, to achieve rapid retraining. In addition, we introduce a dynamic stopping mechanism to optimize the termination of the unlearning process. Our extensive experiments show that FedUHB not only enhances unlearning efficiency but also preserves robust model performance after unlearning. Furthermore, the dynamic stopping mechanism effectively reduces the number of unlearning iterations, conserving both computational and communication resources. FedUHB can be proved as an effective and efficient solution for exact data removal in federated learning settings.
• Abstract（参考訳）: フェデレートされた学習は、協力的な機械学習を促進し、複数の参加者が個々のデータのプライバシを保持しながら、共有モデルを集合的に開発することを可能にする。 忘れられる権利”の重要性が高まるにつれ、要求時にデータ削除を容易にする効果的なメカニズムが求められている。 これに対し、モデルから特定のデータの影響を効果的に除去するために、フェデレーション・アンラーニング(FU)が開発された。 現在のFU法は主に、データ除去効率と計算と通信コストのバランスをとろうとする、ほぼ未学習の戦略に頼っているが、多くの場合、データの影響を完全に消し去ることができない。 これらの制約に対処するため,我々はPolyakヘビーボール最適化手法であるFedUHBを提案する。 さらに,非学習プロセスの終了を最適化する動的停止機構を導入する。 大規模な実験により,FedUHBは学習効率を向上するだけでなく,学習後の堅牢なモデル性能も維持できることがわかった。 さらに、動的停止機構は、計算資源と通信資源の両方を保存し、非学習イテレーションの数を効果的に削減する。 FedUHBは、フェデレートされた学習環境における正確なデータ除去のための効率的かつ効率的なソリューションとして証明できる。

関連論文リスト

• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• FRAMU: Attention-based Machine Unlearning using Federated Reinforcement Learning [16.86560475992975]
  FRAMU(Federated Reinforcement Learning)を用いた注意型機械学習について紹介する。 FRAMUには適応学習機構、プライバシー保護技術、最適化戦略が組み込まれている。 実験の結果,FRAMUはベースラインモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-19T03:13:17Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Federated Unlearning via Active Forgetting [24.060724751342047]
  インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Federated Pruning: Improving Neural Network Efficiency with Federated Learning [24.36174705715827]
  フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。 異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-14T00:48:37Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。