論文の概要: NoT: Federated Unlearning via Weight Negation

• arxiv url: http://arxiv.org/abs/2503.05657v1
• Date: Fri, 07 Mar 2025 18:19:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:28.966409
• Title: NoT: Federated Unlearning via Weight Negation
• Title（参考訳）: NoT: ウェイトネゲーションによるフェデレーション・アンラーニング
• Authors: Yasser H. Khalil, Leo Brunswic, Soufiane Lamghari, Xu Li, Mahdi Beitollahi, Xi Chen,
• Abstract要約: フェデレーション・アンラーニング(FU)は、トレーニングされたフェデレーション・ラーニング(FL)モデルから参加者のデータコントリビューションを取り除き、プライバシと規制のコンプライアンスを確保することを目的としている。 従来のFUメソッドは、しばしばクライアントまたはサーバ側の補助ストレージに依存するか、削除対象のデータに直接アクセスする必要がある。 重みの否定(-1倍の乗算)に基づく新規かつ効率的なFUアルゴリズムであるNoTを提案する。
• 参考スコア（独自算出の注目度）: 8.231565480337803
• License:
• Abstract: Federated unlearning (FU) aims to remove a participant's data contributions from a trained federated learning (FL) model, ensuring privacy and regulatory compliance. Traditional FU methods often depend on auxiliary storage on either the client or server side or require direct access to the data targeted for removal-a dependency that may not be feasible if the data is no longer available. To overcome these limitations, we propose NoT, a novel and efficient FU algorithm based on weight negation (multiplying by -1), which circumvents the need for additional storage and access to the target data. We argue that effective and efficient unlearning can be achieved by perturbing model parameters away from the set of optimal parameters, yet being well-positioned for quick re-optimization. This technique, though seemingly contradictory, is theoretically grounded: we prove that the weight negation perturbation effectively disrupts inter-layer co-adaptation, inducing unlearning while preserving an approximate optimality property, thereby enabling rapid recovery. Experimental results across three datasets and three model architectures demonstrate that NoT significantly outperforms existing baselines in unlearning efficacy as well as in communication and computational efficiency.
• Abstract（参考訳）: フェデレーション・アンラーニング(FU)は、トレーニングされたフェデレーション・ラーニング(FL)モデルから参加者のデータコントリビューションを取り除き、プライバシと規制のコンプライアンスを確保することを目的としている。 従来のFUメソッドは、しばしばクライアントまたはサーバ側の補助ストレージに依存するか、あるいは削除対象のデータに直接アクセスする必要がある。 これらの制約を克服するために, 重み否定(-1倍)に基づく新規かつ効率的な FU アルゴリズム NoT を提案する。 モデルパラメータを最適なパラメータの集合から遠ざけることで、効果的で効率的な未学習を実現することができるが、迅速な再最適化には適している、と我々は主張する。 重みネゲーションの摂動が層間共適応を効果的に阻害し, 近似最適性を保ちながら未学習を誘導し, 迅速な回復を可能にすることを証明する。 3つのデータセットと3つのモデルアーキテクチャにまたがる実験結果から、NoTは未学習の有効性やコミュニケーションや計算効率において、既存のベースラインを大幅に上回っていることが示された。

関連論文リスト

• FedUHB: Accelerating Federated Unlearning via Polyak Heavy Ball Method [17.720414283108727]
  モデルから特定のデータの影響を効果的に除去するために、フェデレート・アンラーニング(FU)が開発された。 我々は,Polyakヘビーボール最適化技術を活用した,新しい非学習手法であるFedUHBを提案する。 実験の結果,FedUHBは学習効率を向上するだけでなく,学習後の頑健なモデル性能も維持できることがわかった。
  論文  参考訳（メタデータ） (2024-11-17T11:08:49Z)
• Towards Robust and Cost-Efficient Knowledge Unlearning for Large Language Models [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMのための堅牢で効率的なアンラーニングのための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning [28.059563581973432]
  LLM(Large Language Models)は、事前トレーニング中に機密性のある、プライベートな、あるいは著作権のあるデータを持つことが多い。 LLMは、事前学習されたモデルから望ましくないデータの影響を取り除くことを目的としている。 我々は、ターゲットデータセットを効率的に解放できる単純なアライメントにインスパイアされた方法として、NPO(Negative Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-04-08T21:05:42Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Recommendation Unlearning via Influence Function [42.4931807753579]
  本稿では,新しいインフルエンス関数に基づく推薦アンラーニング(IFRU, Recommendation Unlearning)フレームワークを提案する。 IFRUは、フルリトレーニングに匹敵するレコメンデーションパフォーマンスを持つリトレーニングベースの手法と比較して、250倍以上のアクセラレーションを実現している。
  論文  参考訳（メタデータ） (2023-07-05T09:42:51Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback [28.30678887024847]
  信頼度重み付けの割り当て方法と、大量の観測されていないデータを扱う方法は、暗黙のレコメンデーションモデルにおいて2つの重要な問題である。 可変オートエンコーダに基づく高速適応重み付き行列分解法(FAWMF)を提案する。 実世界のデータセットに対する実験は、提案したFAWMFと学習アルゴリズムfBGDの優位性を実証している。
  論文  参考訳（メタデータ） (2020-03-04T04:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。