論文の概要: ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation

• arxiv url: http://arxiv.org/abs/2505.12239v1
• Date: Sun, 18 May 2025 05:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.113298
• Title: ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation
• Title（参考訳）: ACU: 分析的連続的アンラーニング
• Authors: Jianheng Tang, Huiping Zhuang, Di Fang, Jiaxu Li, Feijiang Han, Yajiang Huang, Kejia Fan, Leye Wang, Zhanxing Zhu, Shanghang Zhang, Houbing Herbert Song, Yunhuai Liu,
• Abstract要約: 連続的アンラーニング(CU)は、連続的学習フェーズで取得した特定の知識を逐次忘れることを目的としている。 既存の未学習メソッドの多くは、再トレーニングや微調整のために保持されたデータセットにアクセスする必要がある。 本稿では,ACU (Analytic Continual Unlearning) と呼ばれるCUの勾配のない新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 39.0731790601695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of artificial intelligence demands that models incrementally update knowledge by Continual Learning (CL) to adapt to open-world environments. To meet privacy and security requirements, Continual Unlearning (CU) emerges as an important problem, aiming to sequentially forget particular knowledge acquired during the CL phase. However, existing unlearning methods primarily focus on single-shot joint forgetting and face significant limitations when applied to CU. First, most existing methods require access to the retained dataset for re-training or fine-tuning, violating the inherent constraint in CL that historical data cannot be revisited. Second, these methods often suffer from a poor trade-off between system efficiency and model fidelity, making them vulnerable to being overwhelmed or degraded by adversaries through deliberately frequent requests. In this paper, we identify that the limitations of existing unlearning methods stem fundamentally from their reliance on gradient-based updates. To bridge the research gap at its root, we propose a novel gradient-free method for CU, named Analytic Continual Unlearning (ACU), for efficient and exact forgetting with historical data privacy preservation. In response to each unlearning request, our ACU recursively derives an analytical (i.e., closed-form) solution in an interpretable manner using the least squares method. Theoretical and experimental evaluations validate the superiority of our ACU on unlearning effectiveness, model fidelity, and system efficiency.
• Abstract（参考訳）: 人工知能の開発は、モデルが継続的学習(CL)による知識を段階的に更新し、オープンワールド環境に適応することを要求する。 プライバシとセキュリティ要件を満たすために、CLフェーズで取得した特定の知識を逐次忘れることを目的とした、連続的アンラーニング(CU)が重要な問題として浮上する。 しかし、既存のアンラーニング手法は、主に単発関節の忘れ物に焦点を合わせ、CUに適用した場合に重大な制限に直面している。 まず、既存のほとんどのメソッドは、履歴データを再トレーニングまたは微調整するために保持されたデータセットへのアクセスを必要とします。 第二に、これらの手法はシステム効率とモデル忠実度の間のトレードオフが悪く、故意に頻繁な要求によって敵に圧倒されたり、劣化したりすることに脆弱であることが多い。 本稿では,既存のアンラーニング手法の限界が,勾配に基づく更新に依存することに起因することを明らかにする。 本稿では,そのルーツにおける研究ギャップを埋めるために,ACU(Analytic Continual Unlearning)と呼ばれるCUのための新しい勾配のない手法を提案する。 各未学習要求に応じて、ACUは最小二乗法を用いて解析的(すなわちクローズドフォーム)な解を解釈可能な方法で再帰的に導出する。 理論的および実験的評価は、ACUが未学習の有効性、モデル忠実度、システム効率に優越していることを検証する。

関連論文リスト

• AnalyticKWS: Towards Exemplar-Free Analytic Class Incremental Learning for Small-footprint Keyword Spotting [29.303650401396997]
  キーワードスポッティング(KWS)は、音声対応システムにおける音声コマンドを識別するための重要なメカニズムを提供する。 主要な問題は、モデルが以前のキーワードを認識する能力を失う、破滅的な忘れ物である。 本稿では,従来のデータを再検討することなく,モデルパラメータを更新する分析連続学習(AnalyticKWS)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T03:55:28Z)
• Privacy-Aware Lifelong Learning [14.83033354320841]
  機械学習の分野は、要求された時に事前訓練されたモデルから、ある以前の知識を明示的に忘れることに焦点を当てている。 本稿では,タスク固有のスパースワークとパラメータ共有の最適化を含む,プライバシを意識した生涯学習(PALL)を提案する。 画像分類におけるPALLのスケーラビリティを実証的に実証し,最先端のソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-16T07:27:00Z)
• Privacy-Preserved Automated Scoring using Federated Learning for Educational Research [1.2556373621040728]
  本稿では,教育評価の自動評価のための統合学習(FL)フレームワークを提案する。 我々は,2つの最先端FL手法と集中学習ベースラインに対して,我々のモデルをベンチマークする。 その結果,本モデルが最も精度が高い(94.5%)ことが示唆された。
  論文  参考訳（メタデータ） (2025-03-12T19:06:25Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。