論文の概要: Learning to Unlearn while Retaining: Combating Gradient Conflicts in Machine Unlearning

• arxiv url: http://arxiv.org/abs/2503.06339v1
• Date: Sat, 08 Mar 2025 21:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:06.500420
• Title: Learning to Unlearn while Retaining: Combating Gradient Conflicts in Machine Unlearning
• Title（参考訳）: 保持しながら学ぶ: 機械学習におけるグラディエント・コンフリクトの議論
• Authors: Gaurav Patel, Qiang Qiu,
• Abstract要約: 本研究では,学習対象と保持対象との勾配の衝突を軽減することを目的とした,学習継続時の学習を提案する。 提案手法は,提案フレームワーク内で自然に現れる暗黙の勾配正規化機構を通じて,競合を戦略的に回避する。 我々は差別的タスクと生成的タスクの両方にまたがってアプローチを検証し、残したデータの性能を損なうことなく、未学習を達成できることの有効性を実証した。
• 参考スコア（独自算出の注目度）: 20.479485237420985
• License:
• Abstract: Machine Unlearning has recently garnered significant attention, aiming to selectively remove knowledge associated with specific data while preserving the model's performance on the remaining data. A fundamental challenge in this process is balancing effective unlearning with knowledge retention, as naive optimization of these competing objectives can lead to conflicting gradients, hindering convergence and degrading overall performance. To address this issue, we propose Learning to Unlearn while Retaining, aimed to mitigate gradient conflicts between unlearning and retention objectives. Our approach strategically avoids conflicts through an implicit gradient regularization mechanism that emerges naturally within the proposed framework. This prevents conflicting gradients between unlearning and retention, leading to effective unlearning while preserving the model's utility. We validate our approach across both discriminative and generative tasks, demonstrating its effectiveness in achieving unlearning without compromising performance on remaining data. Our results highlight the advantages of avoiding such gradient conflicts, outperforming existing methods that fail to account for these interactions.
• Abstract（参考訳）: Machine Unlearningは先頃、特定のデータに関連する知識を選択的に削除し、モデルのパフォーマンスを残りのデータに保持することを目的として、大きな注目を集めた。 このプロセスの根本的な課題は、効果的なアンラーニングと知識の保持のバランスにある。これらの競合する目的の自然な最適化は、矛盾する勾配をもたらし、収束を妨げ、全体的なパフォーマンスを低下させる。 この問題に対処するために,学習対象と保持対象との勾配の衝突を軽減することを目的とした,保持中の学習への学習を提案する。 提案手法は,提案フレームワーク内で自然に現れる暗黙の勾配正規化機構を通じて,競合を戦略的に回避する。 これにより、非学習と保持の間の矛盾する勾配が防止され、モデルの有用性を維持しながら効果的な非学習につながる。 我々は差別的タスクと生成的タスクの両方にまたがってアプローチを検証し、残したデータの性能を損なうことなく、未学習を達成できることの有効性を実証した。 以上の結果から,これらの相互作用を考慮に入れない既存手法よりも優れているという利点を浮き彫りにしている。

関連論文リスト

• FALCON: Fine-grained Activation Manipulation by Contrastive Orthogonal Unalignment for Large Language Model [23.69222300760814]
  本研究では,FALCON(Contrastive Orthogonal uNalignment)による微細な活性化マニピュレーションを,表現誘導型未学習アプローチとして提案する。 FALCONは、モデルユーティリティを維持しながら、より優れた非学習効率を実現し、知識回復の試みに対して堅牢な抵抗を示す。
  論文  参考訳（メタデータ） (2025-02-03T16:05:15Z)
• Memory-efficient Continual Learning with Neural Collapse Contrastive [5.843533603338313]
  コントラスト学習は表現品質を大幅に改善し、連続学習(CL)におけるタスク間の知識伝達を高めた しかし、対照的な手法は主にサンプル間の「ソフトな関係」や「ソフトな関係」に焦点を当てているため、破滅的な忘れは依然として重要な課題である。 本稿では,ソフトな関係とハードな関係を効果的にバランスさせる新しい表現学習損失であるFNC2を提案する。
  論文  参考訳（メタデータ） (2024-12-03T22:00:12Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
  ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。 この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。 実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:43:30Z)
• Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
  機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。 過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。 我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:53:30Z)
• Validity Learning on Failures: Mitigating the Distribution Shift in Autonomous Vehicle Planning [2.3558144417896583]
  計画問題は、自律運転フレームワークの基本的な側面を構成する。 この問題に対処するための対策として,失敗に対する妥当性学習,VL(on failure)を提案する。 VL(on failure)は最先端の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:25:18Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Adversarial Robust Memory-Based Continual Learner [32.70573627856543]
  本研究では,新しい対向型頑健なメモリベース連続学習システムを提案する。 我々は, 限られた格納データによる勾配難読化を克服するために, 勾配に基づくデータ選択機構を考案した。 Split-CIFAR10/100 と Split-Tiny-ImageNet による実験では,敵データに対する最大8.13%の精度を実現し,本手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-11-29T13:05:20Z)
• Exploring Federated Unlearning: Analysis, Comparison, and Insights [101.64910079905566]
  フェデレーション・アンラーニングは、フェデレーション・システムで訓練されたモデルからデータを選択的に除去することを可能にする。 本稿では,既存のフェデレーション・アンラーニング手法について検討し,アルゴリズムの効率,モデル精度への影響,プライバシ保護の有効性について検討する。 フェデレートされたアンラーニング手法を評価するための統一ベンチマークであるOpenFederatedUnlearningフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-30T01:34:33Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。