論文の概要: Go Beyond Your Means: Unlearning with Per-Sample Gradient Orthogonalization

• arxiv url: http://arxiv.org/abs/2503.02312v1
• Date: Tue, 04 Mar 2025 06:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:16:23.624629
• Title: Go Beyond Your Means: Unlearning with Per-Sample Gradient Orthogonalization
• Title（参考訳）: Go Beyond your Means: Unlearning with Per-Sample Gradient Orthogonalization
• Authors: Aviv Shamsian, Eitan Shaar, Aviv Navon, Gal Chechik, Ethan Fetaya,
• Abstract要約: 機械学習は、モデルが訓練された後、問題のあるトレーニングデータの影響を取り除くことを目的としている。 既存の機械学習手法の多くは、未学習データ上の勾配上昇と、トレーニングデータを表す保持セット上の勾配降下とを慎重にバランスさせることで、この問題に対処している。 本稿では,未学習集合と保持集合との干渉を緩和する手法であるOrthoGradを提案する。
• 参考スコア（独自算出の注目度）: 43.436621884831276
• License:
• Abstract: Machine unlearning aims to remove the influence of problematic training data after a model has been trained. The primary challenge in machine unlearning is ensuring that the process effectively removes specified data without compromising the model's overall performance on the remaining dataset. Many existing machine unlearning methods address this challenge by carefully balancing gradient ascent on the unlearn data with the gradient descent on a retain set representing the training data. Here, we propose OrthoGrad, a novel approach that mitigates interference between the unlearn set and the retain set rather than competing ascent and descent processes. Our method projects the gradient of the unlearn set onto the subspace orthogonal to all gradients in the retain batch, effectively avoiding any gradient interference. We demonstrate the effectiveness of OrthoGrad on multiple machine unlearning benchmarks, including automatic speech recognition, outperforming competing methods.
• Abstract（参考訳）: 機械学習は、モデルが訓練された後、問題のあるトレーニングデータの影響を取り除くことを目的としている。 機械学習における最大の課題は、残りのデータセットでモデル全体のパフォーマンスを損なうことなく、プロセスが特定データを効果的に除去することを保証することである。 既存の機械学習手法の多くは、未学習データ上の勾配上昇と、トレーニングデータを表す保持セット上の勾配降下とを慎重にバランスさせることで、この問題に対処している。 本稿では,未学習集合と保持集合との干渉を緩和する新しいアプローチであるOrthoGradを提案する。 提案手法は,残余バッチ内のすべての勾配に直交する部分空間上の未学習集合の勾配を投影し,任意の勾配干渉を効果的に回避する。 自動音声認識や競合手法の性能向上など,複数の機械学習ベンチマークにおけるOrthoGradの有効性を実証する。

関連論文リスト

• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• Machine Unlearning via Null Space Calibration [23.668928015009087]
  underlineNull underlineSpace underlineCalibration (UNSC) を用いてマシンアンダーラインUnlearningを導入する。 我々のアプローチは、未学習のプロセスを、残りのサンプルに合わせた特定のヌル空間に収束させることに重点を置いている。
  論文  参考訳（メタデータ） (2024-04-21T09:09:21Z)
• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Certified Machine Unlearning via Noisy Stochastic Gradient Descent [20.546589699647416]
  機械学習は、訓練されたモデルに対する特定のデータポイントの効果を効率的に除去することを目的としている。 本研究では,雑音勾配勾配を非学習に活用し,その最初の近似的非学習保証を確立することを提案する。
  論文  参考訳（メタデータ） (2024-03-25T18:43:58Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Dataset Condensation Driven Machine Unlearning [0.0]
  データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。 我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。 本稿では,機械のアンラーニングを計測するための新しい効果的なアプローチを提案し,その適用方法として,メンバシップ推論とモデル逆転攻撃の防御を提案する。
  論文  参考訳（メタデータ） (2024-01-31T21:48:25Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。