論文の概要: Sequential Informed Federated Unlearning: Efficient and Provable Client
Unlearning in Federated Optimization
- arxiv url: http://arxiv.org/abs/2211.11656v1
- Date: Mon, 21 Nov 2022 17:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 22:01:36.014839
- Title: Sequential Informed Federated Unlearning: Efficient and Provable Client
Unlearning in Federated Optimization
- Title(参考訳): 逐次インフォームド・フェデレーション・アンラーニング:フェデレーション最適化における効率的かつ証明可能なクライアント・アンラーニング
- Authors: Yann Fraboni, Richard Vidal, Laetitia Kameni, Marco Lorenzi
- Abstract要約: Unlearning(FU)は、あるクライアントのコントリビューションをフェデレートされたトレーニングルーチンから解放するために、Machine Unlearning(MU)を拡張することで構成される。
Informed Federated Unlearning (IFU) を新たに提案する。
IFUは、基本的な再訓練や最先端のFUアプローチと比較して、より効率的な未学習の手順をもたらす。
- 参考スコア(独自算出の注目度): 10.609815608017065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The aim of Machine Unlearning (MU) is to provide theoretical guarantees on
the removal of the contribution of a given data point from a training
procedure. Federated Unlearning (FU) consists in extending MU to unlearn a
given client's contribution from a federated training routine. Current FU
approaches are generally not scalable, and do not come with sound theoretical
quantification of the effectiveness of unlearning. In this work we present
Informed Federated Unlearning (IFU), a novel efficient and quantifiable FU
approach. Upon unlearning request from a given client, IFU identifies the
optimal FL iteration from which FL has to be reinitialized, with unlearning
guarantees obtained through a randomized perturbation mechanism. The theory of
IFU is also extended to account for sequential unlearning requests.
Experimental results on different tasks and dataset show that IFU leads to more
efficient unlearning procedures as compared to basic re-training and
state-of-the-art FU approaches.
- Abstract(参考訳): 機械学習(mu)の目的は、訓練手順から与えられたデータポイントの寄与の排除に関する理論的保証を提供することである。
フェデレーテッド・アンラーニング(FU)は、フェデレーテッド・トレーニングルーチンから特定のクライアントの貢献を解放するためにMUを拡張することである。
現在のFUアプローチは一般に拡張性がなく、未学習の有効性の健全な理論的定量化を伴わない。
Informed Federated Unlearning (IFU)は、新しい効率で定量化可能なFUアプローチである。
与えられたクライアントからの未学習要求に対して、IFUは、FLを再起動しなければならない最適なFLイテレーションを特定し、ランダムな摂動機構を通じて未学習の保証を得る。
逐次学習要求を考慮し、ifuの理論も拡張されている。
タスクとデータセットの異なる実験結果から、IFUは基本的な再学習や最先端のFUアプローチと比較して、より効率的な未学習の手順をもたらすことが示された。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳(メタデータ) (2023-04-11T02:12:02Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T08:52:51Z) - VeriFi: Towards Verifiable Federated Unlearning [59.169431326438676]
フェデレートラーニング(FL)は、参加者がプライベートデータを共有せずに強力なモデルを共同でトレーニングする、協調学習パラダイムである。
参加者を去るには、グローバルモデルからプライベートデータを削除するよう要求する権利がある。
フェデレートされた未学習と検証を統合した統合フレームワークであるVeriFiを提案する。
論文 参考訳(メタデータ) (2022-05-25T12:20:02Z) - FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning [14.10627556244287]
フェデレート蒸留(Federated Distillation, FD)は、フェデレート学習のための新しいアルゴリズムパラダイムである。
ラベルなし補助データから最大ユーティリティを導出することで性能を大幅に向上するFedAUXを提案する。
大規模畳み込みニューラルネットワークとトランスフォーマーモデルの実験により、FedAUXのトレーニング性能がSOTA FLベースライン法を上回ることを示した。
論文 参考訳(メタデータ) (2021-02-04T09:53:53Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳(メタデータ) (2020-12-27T08:54:37Z) - Fairness and Accuracy in Federated Learning [17.218814060589956]
本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。
二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-18T06:28:37Z) - Addressing Class Imbalance in Federated Learning [10.970632986559547]
Federated Learning(FL)は、ローカルクライアントデバイス上の分散データをトレーニングするための有望なアプローチである。
本研究では,FLラウンド毎のトレーニングデータの組成を推定し,その影響を軽減するために新しい損失関数 textbfRatio Loss を設計する。
論文 参考訳(メタデータ) (2020-08-14T07:28:08Z) - Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。
我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。
これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文 参考訳(メタデータ) (2020-08-08T03:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。