論文の概要: Efficient Utility-Preserving Machine Unlearning with Implicit Gradient Surgery

• arxiv url: http://arxiv.org/abs/2510.22124v1
• Date: Sat, 25 Oct 2025 02:49:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.826831
• Title: Efficient Utility-Preserving Machine Unlearning with Implicit Gradient Surgery
• Title（参考訳）: 故意手術を併用した効率的な実用性保存マシンの学習
• Authors: Shiji Zhou, Tianbai Yu, Zhi Zhang, Heng Chang, Xiao Zhou, Dong Wu, Han Zhao,
• Abstract要約: マシン・アンラーニング(MU)は、事前訓練されたモデルからセンシティブまたは有害なメモリを効率的に除去することを目的としている。 鍵となる課題は、未学習の有効性とユーティリティの保存との間の潜在的なトレードオフをバランスさせることである。 本稿では,1つのバックプロパゲーションのみによる制約付き最適化問題の解を近似する暗黙的勾配手術法を提案する。
• 参考スコア（独自算出の注目度）: 30.346382763036598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning (MU) aims to efficiently remove sensitive or harmful memory from a pre-trained model. The key challenge is to balance the potential tradeoff between unlearning efficacy and utility preservation, which involves forgetting undesirable information as defined while maintaining the model's original performance. One potential way to tackle this problem is to use multi-objective optimization to jointly optimize both the unlearning and utility preservation objectives. However, existing multi-objective methods only guarantee finding a Pareto-optimal solution without fine-grained control, which causes under-optimization of the unlearning objective. To this end, we first model MU as a constrained optimization problem, that is, optimizing the unlearning objective under the constraint of a bounded increase for utility loss. We then show that solving this optimization problem is equivalent to unilateral gradient surgery on the unlearning objective. To resolve the additional computational cost brought by gradient surgery, we propose an implicit gradient surgery method, which approximates the solution to the aforementioned constrained optimization problem via only one backpropagation, thereby achieving efficient utility-preserving MU. Theoretically, we provide a tight convergence analysis of the algorithm. Empirically, our extensive experiments show that the proposed algorithm achieves better tradeoff results than existing baselines. Codes are available at https://github.com/anseryuer/EUPMU-Efficient-Utility-Preserving-Machine-Unlearning.
• Abstract（参考訳）: マシン・アンラーニング(MU)は、事前訓練されたモデルからセンシティブまたは有害なメモリを効率的に除去することを目的としている。 重要な課題は、モデルの本来のパフォーマンスを維持しながら定義された望ましくない情報を忘れることを含む、未学習の有効性とユーティリティの保存の間の潜在的なトレードオフのバランスをとることである。 この問題に対処する潜在的な方法の1つは、未学習とユーティリティ保存の両方の目的を共同で最適化するために、多目的最適化を使用することである。 しかし, 既存の多目的手法は, 微粒化制御を伴わないパレート最適解の発見のみを保証し, 未学習目的の過小評価を引き起こす。 この目的のために、我々はまず制約付き最適化問題としてMUをモデル化し、すなわち、ユーティリティ損失に対する有界増加の制約の下で学習対象を最適化する。 そして,この最適化問題の解法は,非学習目的の片側勾配手術と等価であることを示す。 そこで我々は,1つのバックプロパゲーションのみによる制約付き最適化問題の解を近似した暗黙的勾配手術法を提案する。 理論的には、アルゴリズムの厳密な収束解析を提供する。 実験により,提案アルゴリズムは既存のベースラインよりも優れたトレードオフ結果が得られることを示した。 コードはhttps://github.com/anseryuer/EUPMU-Efficient-Utility-Preserving-Machine-Unlearningで公開されている。

関連論文リスト

• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• Self-Supervised Penalty-Based Learning for Robust Constrained Optimization [4.297070083645049]
  本稿では,自己教師付きペナルティに基づく損失関数を用いた学習に基づいて,パラメータ化制約付きロバスト最適化のための新しい手法を提案する。 我々のアプローチは、従来の解法よりも推論時間がかなり小さいニューラルネットワーク近似を効果的に学習することができる。
  論文  参考訳（メタデータ） (2025-03-07T06:42:17Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [45.64632177923583]
  本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。 未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization [42.92248233465095]
  本稿では,SRT (symmetric replay training) と呼ばれる簡易かつ効果的な手法を提案する。 提案手法は,オンラインインタラクションを伴わない対称領域の探索を促進するために,高解像度サンプルを活用する。 実世界のタスクに適用した多種多様なDRL法に対して,本手法を一貫したサンプル効率向上効果を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-06-02T05:34:01Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。