論文の概要: QuickDrop: Efficient Federated Unlearning by Integrated Dataset Distillation

• arxiv url: http://arxiv.org/abs/2311.15603v2
• Date: Fri, 06 Dec 2024 13:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:21.129200
• Title: QuickDrop: Efficient Federated Unlearning by Integrated Dataset Distillation
• Title（参考訳）: QuickDrop: 統合的データセット蒸留による効果的なフェデレーション・アンラーニング
• Authors: Akash Dhasade, Yaohong Ding, Song Guo, Anne-marie Kermarrec, Martijn De Vos, Leijie Wu,
• Abstract要約: 学習を高速化するための効率的でオリジナルなFU手法であるQuickDropを紹介する。 QuickDropでは、各クライアントがDDを使用して、オリジナルのトレーニングデータセットを表すコンパクトなデータセットを生成する。 QuickDropは、既存のFUアプローチと比較して、スクラッチからのモデル再トレーニングと65.1倍の学習期間を463.8倍に短縮することを示した。
• 参考スコア（独自算出の注目度）: 10.165701317467196
• License:
• Abstract: Federated Unlearning (FU) aims to delete specific training data from an ML model trained using Federated Learning (FL). We introduce QuickDrop, an efficient and original FU method that utilizes dataset distillation (DD) to accelerate unlearning and drastically reduces computational overhead compared to existing approaches. In QuickDrop, each client uses DD to generate a compact dataset representative of the original training dataset, called a distilled dataset, and uses this compact dataset during unlearning. To unlearn specific knowledge from the global model, QuickDrop has clients execute Stochastic Gradient Ascent with samples from the distilled datasets, thus significantly reducing computational overhead compared to conventional FU methods. We further increase the efficiency of QuickDrop by ingeniously integrating DD into the FL training process. By reusing the gradient updates produced during FL training for DD, the overhead of creating distilled datasets becomes close to negligible. Evaluations on three standard datasets show that, with comparable accuracy guarantees, QuickDrop reduces the duration of unlearning by 463.8x compared to model retraining from scratch and 65.1x compared to existing FU approaches. We also demonstrate the scalability of QuickDrop with 100 clients and show its effectiveness while handling multiple unlearning operations.
• Abstract（参考訳）: Federated Unlearning(FU)は、フェデレートラーニング(FL)を使用してトレーニングされたMLモデルから、特定のトレーニングデータを削除することを目的としている。 我々は,データセット蒸留(DD)を利用して未学習を高速化し,既存の手法に比べて計算オーバーヘッドを大幅に削減する,効率的でオリジナルなFU手法であるQuickDropを紹介した。 QuickDropでは、各クライアントがDDを使用して、蒸留データセットと呼ばれるオリジナルのトレーニングデータセットのコンパクトなデータセットを生成し、アンラーニング中にこのコンパクトなデータセットを使用する。 グローバルモデルから特定の知識を引き出すため、QuickDropはクライアントに蒸留データセットのサンプルを用いて確率勾配上昇を実行させ、従来のFU法と比較して計算オーバーヘッドを著しく低減させる。 DDをFLトレーニングプロセスに統合することにより,QuickDropの効率をさらに向上する。 DDのFLトレーニング中に発生する勾配更新を再利用することにより、蒸留データセット作成のオーバーヘッドは無視不可能に近いものとなる。 3つの標準データセットの評価によると、QuickDropは、既存のFUアプローチと比較して、スクラッチからのモデル再トレーニングと65.1倍の学習期間を463.8倍に短縮する。 また、100のクライアントでQuickDropのスケーラビリティを実証し、複数の未学習操作を処理しながらその有効性を示す。

関連論文リスト

• DistDD: Distributed Data Distillation Aggregation through Gradient Matching [14.132062317010847]
  DistDDは、クライアントのデバイスに直接データを蒸留することで、反復的なコミュニケーションの必要性を減らす、連邦学習フレームワークにおける新しいアプローチである。 本研究では,DistDDアルゴリズムの詳細な収束証明を行い,その数学的安定性と信頼性を実証する。
  論文  参考訳（メタデータ） (2024-10-11T09:43:35Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Sampling to Distill: Knowledge Transfer from Open-World Data [28.74835717488114]
  冗長な生成過程を伴わずにデータ自由知識蒸留(DFKD)タスクのための新しいオープンワールドデータサンプリング蒸留(ODSD)手法を提案する。 まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。 そこで我々は,学生モデル自体と教師の構造化表現を通して,データ知識を活用するために,複数のデータ例の構造化関係を構築した。
  論文  参考訳（メタデータ） (2023-07-31T12:05:55Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Fast Server Learning Rate Tuning for Coded Federated Dropout [3.9653673778225946]
  Federated Dropout (FD) はFLセッションの通信効率を改善する技術である。 各クライアントで異なるサブモデルを使用することで、符号化理論を利用してFDを強化する。 EMNISTデータセットの場合、このメカニズムはドロップアウトケースの最終的な精度の99.6%を達成する。
  論文  参考訳（メタデータ） (2022-01-26T16:19:04Z)
• Robust and Resource-Efficient Data-Free Knowledge Distillation by Generative Pseudo Replay [5.3330804968579795]
  データ自由知識蒸留(Data-Free Knowledge Distillation, KD)は、トレーニングされたニューラルネットワーク(教師)から、元のトレーニングデータがない場合にはよりコンパクトなニューラルネットワーク(学生)への知識伝達を可能にする。 既存の作業では、実際のデータよりも生徒の精度を監視し、プロセス全体を通して最高のパフォーマンスを報告するための検証セットが使用されている。 しかし、蒸留時にも検証データが入手できないため、ピーク精度を達成した生徒のスナップショットを記録することは不可能である。 これは、学生が合成データの分布シフトによって知識劣化を経験するからである。 これまでに観測された合成試料の分布をモデル化する。
  論文  参考訳（メタデータ） (2022-01-09T14:14:28Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。