論文の概要: Streamlined Federated Unlearning: Unite as One to Be Highly Efficient

• arxiv url: http://arxiv.org/abs/2412.00126v1
• Date: Thu, 28 Nov 2024 12:52:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:38.489948
• Title: Streamlined Federated Unlearning: Unite as One to Be Highly Efficient
• Title（参考訳）: 合理化された非学習 - 高い効率性を実現するための一元化
• Authors: Lei Zhou, Youwen Zhu, Qiao Xue, Ji Zhang, Pengfei Zhang,
• Abstract要約: 「忘れられる権利」法や規制は、連邦学習(FL)に新たなプライバシー要件を課している。 本研究では,モデルの性能を劣化することなく保持データに保存しながら,対象データの影響を効果的に除去することを目的とした,合理化アンラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 12.467630082668254
• License:
• Abstract: Recently, the enactment of "right to be forgotten" laws and regulations has imposed new privacy requirements on federated learning (FL). Researchers aim to remove the influence of certain data from the trained model without training from scratch through federated unlearning (FU). While current FU research has shown progress in enhancing unlearning efficiency, it often results in degraded model performance upon achieving the goal of data unlearning, necessitating additional steps to recover the performance of the unlearned model. Moreover, these approaches also suffer from many shortcomings such as high consumption of computational and storage resources. To this end, we propose a streamlined federated unlearning approach (SFU) aimed at effectively removing the influence of target data while preserving the model's performance on the retained data without degradation. We design a practical multi-teacher system that achieves both target data influence removal and model performance preservation by guiding the unlearned model through several distinct teacher models. SFU is both computationally and storage-efficient, highly flexible, and generalizable. We conducted extensive experiments on both image and text benchmark datasets. The results demonstrate that SFU significantly improves time and communication efficiency compared to the benchmark retraining method and significantly outperforms existing state-of-the-art (SOTA) methods. Additionally, we verified the effectiveness of SFU using the backdoor attack.
• Abstract（参考訳）: 近年では「忘れられる権利」の制定により、連邦学習(FL)に新たなプライバシー要件が課せられている。 研究者は、フェデレーション・アンラーニング(FU)を通じて、トレーニングをスクラッチから行うことなく、トレーニングされたモデルから特定のデータの影響を取り除くことを目指している。 現在の FU 研究は、学習効率の向上の進歩を示しているが、データアンラーニングの目標を達成する際に、しばしばモデル性能が劣化し、未学習モデルのパフォーマンスを回復するために追加のステップが必要になる。 さらに、これらのアプローチは、計算資源やストレージ資源の消費量の増加など、多くの欠点に悩まされている。 そこで本研究では,モデルの性能を劣化することなく保持データに保持しながら,対象データの影響を効果的に除去することを目的とした,合理化アンラーニング手法(SFU)を提案する。 複数の異なる教師モデルを通して学習されていないモデルを導くことにより,対象データの影響の除去とモデル性能の保存を両立させる実用的マルチ教師システムを設計する。 SFUは計算的かつストレージ効率が高く、柔軟性があり、一般化可能である。 画像とテキストのベンチマークデータセットについて広範な実験を行った。 その結果,SFUはベンチマーク再学習法に比べて時間と通信効率を著しく向上し,既存のSOTA法よりも優れていた。 また,バックドアアタックによるSFUの有効性も検証した。

関連論文リスト

• FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method [17.720414283108727]
  モデルから特定のデータの影響を効果的に除去するために、フェデレート・アンラーニング(FU)が開発された。 我々は,Polyakヘビーボール最適化技術を活用した,新しい非学習手法であるFedUHBを提案する。 実験の結果,FedUHBは学習効率を向上するだけでなく,学習後の頑健なモデル性能も維持できることがわかった。
  論文  参考訳（メタデータ） (2024-11-17T11:08:49Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning [28.059563581973432]
  LLM(Large Language Models)は、事前トレーニング中に機密性のある、プライベートな、あるいは著作権のあるデータを持つことが多い。 LLMは、事前学習されたモデルから望ましくないデータの影響を取り除くことを目的としている。 我々は、ターゲットデータセットを効率的に解放できる単純なアライメントにインスパイアされた方法として、NPO(Negative Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-04-08T21:05:42Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Recommendation Unlearning via Influence Function [42.4931807753579]
  本稿では,新しいインフルエンス関数に基づく推薦アンラーニング(IFRU, Recommendation Unlearning)フレームワークを提案する。 IFRUは、フルリトレーニングに匹敵するレコメンデーションパフォーマンスを持つリトレーニングベースの手法と比較して、250倍以上のアクセラレーションを実現している。
  論文  参考訳（メタデータ） (2023-07-05T09:42:51Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。