論文の概要: Descend or Rewind? Stochastic Gradient Descent Unlearning

• arxiv url: http://arxiv.org/abs/2511.15983v1
• Date: Thu, 20 Nov 2025 02:29:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.431664
• Title: Descend or Rewind? Stochastic Gradient Descent Unlearning
• Title（参考訳）: 後向きか逆向きか : 確率的グラディエントな未学習
• Authors: Siqiao Mu, Diego Klabjan,
• Abstract要約: 機械学習アルゴリズムは、スクラッチから再トレーニングする計算コストを伴わずに、モデルから選択したデータの影響を解き放つことを目的としている。 そのような2つのアルゴリズムは実装が容易で、証明不可能な未学習保証を満たす。 R2DとD2Dの未学習保証を$(, )$で証明する。
• 参考スコア（独自算出の注目度）: 22.183624306817563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning algorithms aim to remove the impact of selected training data from a model without the computational expenses of retraining from scratch. Two such algorithms are ``Descent-to-Delete" (D2D) and ``Rewind-to-Delete" (R2D), full-batch gradient descent algorithms that are easy to implement and satisfy provable unlearning guarantees. In particular, the stochastic version of D2D is widely implemented as the ``finetuning" unlearning baseline, despite lacking theoretical backing on nonconvex functions. In this work, we prove $(ε, δ)$ certified unlearning guarantees for stochastic R2D and D2D for strongly convex, convex, and nonconvex loss functions, by analyzing unlearning through the lens of disturbed or biased gradient systems, which may be contracting, semi-contracting, or expansive respectively. Our argument relies on optimally coupling the random behavior of the unlearning and retraining trajectories, resulting in a probabilistic sensitivity bound that can be combined with a novel relaxed Gaussian mechanism to achieve $(ε, δ)$ unlearning. We determine that D2D can yield tighter guarantees for strongly convex functions compared to R2D by relying on contraction to a unique global minimum. However, unlike D2D, R2D can achieve unlearning in the convex and nonconvex setting because it draws the unlearned model closer to the retrained model by reversing the accumulated disturbances.
• Abstract（参考訳）: 機械学習アルゴリズムは、選択したトレーニングデータの影響を、スクラッチから再トレーニングの計算コストを伴わずに、モデルから除去することを目的としている。 2つのアルゴリズムは ``Descent-to-Delete" (D2D) と ``Rewind-to-Delete" (R2D) である。 特に、D2Dの確率的バージョンは、非凸関数の理論的裏付けに欠けるにもかかわらず、'finetuning'アンラーニングベースラインとして広く実装されている。 本研究は,確率的R2D と D2D の非学習保証を強い凸,凸,非凸損失関数に対して$(ε, δ)$で証明する。 我々の議論は、未学習と再学習軌跡のランダムな振る舞いを最適に結合することに依存し、その結果確率的感度境界が新しく緩和されたガウス機構と組み合わされ、学費$(ε, δ)$未学習となる。 D2D は、R2D と比較して、一意な大域最小値への縮約に依存することにより、より厳密な凸関数の保証が得られると判断する。 しかし、D2Dとは異なり、R2Dは、蓄積された乱を反転させることで、未学習のモデルを再学習モデルに近づけるため、凸および非凸設定での未学習を実現することができる。

関連論文リスト

• Outlier-Robust Training of Machine Learning Models [21.352210662488112]
  本稿では,外部学習を用いた機械学習モデルの学習のための適応交替アルゴリズムを提案する。 アルゴリズムは、各重みを更新しながら、非ロバスト損失の重み付きバージョンを使用してモデルを反復的に訓練する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核のシグマの使用は収束の領域を増大させる。
  論文  参考訳（メタデータ） (2024-12-31T04:19:53Z)
• A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
  本稿では,2次元監視のみを用いた3次元画像調和拡散モデルの学習フレームワークを提案する。 既存の3D生成モデルは、大規模な3Dデータセットが不足しているため、完全に3Dの監視に依存している。
  論文  参考訳（メタデータ） (2024-12-01T00:29:57Z)
• Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping [15.975065054204753]
  アルゴリズムによる保証を訓練した過パラメトリック化された2層ニューラルネットワークを用いて,非回帰について検討する。 我々は,早期停止機能を備えた新しいプレコンディショニンググレーディエント・ディフレッシュ(PGD)アルゴリズムを用いてニューラルネットワークをトレーニングすることにより,高い回帰率が得られることを示した。
  論文  参考訳（メタデータ） (2024-07-16T03:38:34Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Scalable Non-Cartesian Magnetic Resonance Imaging with R2D2 [6.728969294264806]
  本研究では,非電子磁気共鳴画像再構成のための新しい手法を提案する。 我々は「Residual to-Residual DNN series for high range imaging (R2D2)」を利用する。
  論文  参考訳（メタデータ） (2024-03-26T17:45:06Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。