論文の概要: Efficient Exact Unlearning for Federated Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2610.35211v1
• Date: Mon, 26 Oct 2026 11:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.836129
• Title: Efficient Exact Unlearning for Federated Zeroth-Order Optimization
• Title（参考訳）: フェデレートゼロ階最適化のための効率的なエクササイズ学習
• Abstract要約: フェデレートゼロオーダー最適化(FedZOO)は、エッジインテリジェンスのための協調トレーニングのメモリと通信コストを削減する。 我々は,安定なゼロオーダー学習アルゴリズムと,それに対応する正確なアンラーニング手順を共同で設計する。 実験では、競争モデルユーティリティによる効果的なアンラーニングと、再最適化よりも累積的アンラーニング時間を最大56.1%削減することを示した。
• 参考スコア（独自算出の注目度）: 12.862075442419526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated zeroth-order optimization (FedZOO) reduces the memory and communication costs of collaborative training for edge intelligence by avoiding backpropagation while communicating only random seeds and scalar coefficients. However, existing methods lack efficient mechanisms for exact unlearning to fully remove the influence of training data when users request deletion. A key insight is that total variation stability of the learning algorithm creates overlap between model distributions before and after data deletion, allowing exact unlearning to reuse computation through coupling. Based on this observation, we jointly design two stable zeroth-order learning algorithms and their corresponding exact-unlearning procedures: \textsc{FedZOO-S} obtains stability through client and mini-batch subsampling, enabling \textsc{FedZOUL-S} to perform efficient unlearning by preserving earlier updates and restarting from the first affected step. \textsc{FedZOO-NS} further combines subsampling with Gaussian noise to increase overlap between update distributions; \textsc{FedZOUL-NS} exploits this overlap through rejection--reflection coupling to reuse affected updates when the coupling is accepted. We prove exact unlearning for both algorithms: the model and saved state have the same joint distribution as retraining with the corresponding learner on retained data. We further establish stability and convergence guarantees for the learning algorithms and derive upper bounds on expected unlearning cost. Experiments demonstrate effective unlearning with competitive model utility and up to $56.1\%$ less cumulative unlearning time than re-optimization. Compared with first-order baselines, our methods reduce communication overhead by up to approximately four orders of magnitude.
• Abstract（参考訳）: フェデレートゼロオーダー最適化(FedZOO)は、ランダムシードとスカラー係数のみを通信しながらバックプロパゲーションを回避することにより、エッジインテリジェンスのための協調トレーニングのメモリと通信コストを削減する。 しかし,既存の手法では,ユーザが削除を要求する場合のトレーニングデータの影響を完全に取り除くための,正確なアンラーニングのための効率的なメカニズムが欠如している。 重要な洞察は、学習アルゴリズムの総変動安定性がデータ削除前後のモデル分布間の重複を生じさせ、正確なアンラーニングが結合による計算の再利用を可能にすることである。 本研究は,2つの安定なゼロオーダー学習アルゴリズムと,それに対応する正確なアンラーニング手順を共同で設計するものである。 \textsc{FedZOO-NS} は、サブサンプリングとガウスノイズを組み合わせることで、更新分布間の重複を増大させる。 モデルと保存状態は、保持されたデータ上で対応する学習者と再学習するのと同じ結合分布を持つ。 さらに、学習アルゴリズムの安定性と収束保証を確立し、期待される未学習コストの上限を導出する。 実験では、競争モデルユーティリティによる効果的なアンラーニングと、再最適化よりも累積的アンラーニング時間の最大56.1\%の削減が示されている。 本手法は,1次ベースラインと比較して,通信オーバーヘッドを最大4桁程度低減する。

関連論文リスト

• Grokked Models are Better Unlearners [5.8757712547216485]
  グラクテッドチェックポイントから始めると、ずっと効率的に忘れられる。 ポストグロキングモデルは、左行と左行と左行の間の勾配の調整を減らして、よりモジュラーな表現を学習する。
  論文  参考訳（メタデータ） (2025-12-03T04:35:49Z)
• Leveraging Distribution Matching to Make Approximate Machine Unlearning Faster [0.0]
  Approximate Machine Unlearning (AMU)は、トレーニングセットの保持部分集合を特別に微調整することで、モデルを特定のトレーニングデータを忘れることを可能にする。 任意の分類指向AMU法を高速化する2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T20:57:31Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Hessian-Free Online Certified Unlearning [8.875278412741695]
  ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。 提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。