論文の概要: Federated Unlearning Model Recovery in Data with Skewed Label Distributions
- arxiv url: http://arxiv.org/abs/2412.13466v2
- Date: Fri, 20 Dec 2024 11:03:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 13:01:33.433922
- Title: Federated Unlearning Model Recovery in Data with Skewed Label Distributions
- Title(参考訳): スキューラベル分布データにおけるフェデレーション未学習モデル復元
- Authors: Xinrui Yu, Wenbin Pei, Bing Xue, Qiang Zhang,
- Abstract要約: 本稿では,スキューラベル分布を用いたフェデレーション・アンラーニングの回復手法を提案する。
まず、難解なクラスデータを補うために、深層学習とオーバーサンプリングを組み込んだ戦略を採用する。
そして、密度に基づく復調法を適用して、生成されたデータからノイズを除去する。
残りのすべてのクライアントは、強化されたローカルデータセットを活用し、未学習モデルのパフォーマンスを効果的に回復するための反復的なトレーニングに従事します。
- 参考スコア(独自算出の注目度): 10.236494861079779
- License:
- Abstract: In federated learning, federated unlearning is a technique that provides clients with a rollback mechanism that allows them to withdraw their data contribution without training from scratch. However, existing research has not considered scenarios with skewed label distributions. Unfortunately, the unlearning of a client with skewed data usually results in biased models and makes it difficult to deliver high-quality service, complicating the recovery process. This paper proposes a recovery method of federated unlearning with skewed label distributions. Specifically, we first adopt a strategy that incorporates oversampling with deep learning to supplement the skewed class data for clients to perform recovery training, therefore enhancing the completeness of their local datasets. Afterward, a density-based denoising method is applied to remove noise from the generated data, further improving the quality of the remaining clients' datasets. Finally, all the remaining clients leverage the enhanced local datasets and engage in iterative training to effectively restore the performance of the unlearning model. Extensive evaluations on commonly used federated learning datasets with varying degrees of skewness show that our method outperforms baseline methods in restoring the performance of the unlearning model, particularly regarding accuracy on the skewed class.
- Abstract(参考訳): フェデレーション・アンラーニング(Federated Unlearning)は、フェデレーション・アンラーニング(Federated Unlearning)とは、クライアントがスクラッチからトレーニングを受けることなくデータコントリビューションを取り出すことができるロールバックメカニズムを提供するテクニックである。
しかし,既存の研究では,スキューラベル分布のシナリオは考慮されていない。
残念なことに、歪んだデータを持つクライアントのアンラーニングは通常バイアスのあるモデルとなり、回復プロセスが複雑になるような高品質なサービスの提供が困難になる。
本稿では,スキューラベル分布を用いたフェデレーション・アンラーニングの回復手法を提案する。
具体的には、まず、ディープラーニングによるオーバーサンプリングを取り入れて、クライアントがリカバリトレーニングを行うための歪んだクラスデータを補完し、ローカルデータセットの完全性を向上する戦略を採用する。
その後、デノナイズ法を適用して、生成されたデータからノイズを取り除き、残りのクライアントのデータセットの品質をさらに向上する。
最後に、残りのすべてのクライアントは強化されたローカルデータセットを活用し、反復的なトレーニングを行い、アンラーニングモデルのパフォーマンスを効果的に回復する。
本手法は, 学習モデルの性能回復における基礎的手法よりも優れており, 特にスキュートクラスの精度は優れていた。
関連論文リスト
- Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。
本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。
提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
論文 参考訳(メタデータ) (2024-04-17T03:42:48Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳(メタデータ) (2024-04-14T05:02:00Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。
実験結果から,本手法は既存手法よりも一貫した改善が得られた。
我々の手法はデータ効率が良く、競争のベースラインより優れています。
論文 参考訳(メタデータ) (2023-11-27T06:19:50Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - REPA: Client Clustering without Training and Data Labels for Improved
Federated Learning in Non-IID Settings [1.69188400758521]
トレーニングもラベル付きデータ収集も不要な,IID以外のFL設定におけるクライアントクラスタリングのアプローチであるREPAを提案する。
REPAは、新しい教師付きオートエンコーダベースのメソッドを使用して、クライアントの基盤となるデータ生成プロセスをサーバに公開せず、ローカルなトレーニングを必要とせずにプロファイリングを生成する。
論文 参考訳(メタデータ) (2023-09-25T12:30:43Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2022-03-04T12:18:23Z) - Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。
破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
論文 参考訳(メタデータ) (2021-01-14T21:54:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。