論文の概要: Error Accumulation in Second-Order Sequential Machine Unlearning

• arxiv url: http://arxiv.org/abs/2611.03445v1
• Date: Mon, 02 Nov 2026 16:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:30:59.74446
• Title: Error Accumulation in Second-Order Sequential Machine Unlearning
• Title（参考訳）: 2次連続機械アンラーニングにおける誤り蓄積
• Abstract要約: 本研究では,2次アンラーニング法において,パラメータカウント$p$がサンプルサイズ$n$に比例する高次元における誤差蓄積について検討する。 認定保証がリリースされた各モデルに適用されるか、リリースされた全シーケンスに適用されるかによって、ポイントワイズおよびパスワイズ認定を区別する。
• 参考スコア（独自算出の注目度）: 10.84959821967413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning seeks to remove the influence of deleted training data without full retraining. In the sequential setting, deletion requests arrive over time, and repeated updates can accumulate approximation errors. In this paper, we study error accumulation in high dimensions, where parameter count $p$ is proportional to sample size $n$, for second-order unlearning methods under two privacy settings: (i) \emph{partial unlearning}, which allows unpublished internal states to be retained while certified versions of the model are released; and (ii) \emph{perfect unlearning}, which retains only published models and no hidden states. We also distinguish pointwise and pathwise certification, depending on whether the certification guarantee applies to each released model or the whole released sequence. We analyze conjugate gradient (CG) as an efficient solver for the inverse Hessian-vector product (IHVP) in Newton iterations. Our theory shows that a maximum of 1/2/2/3 Newton--CG updates suffice for successful certification and vanishing population-risk degradation of the published model, for pointwise partial, pathwise partial, pointwise perfect and pathwise perfect certification, respectively. Numerical experiments demonstrate accurate sequential tracking and substantial computational gains of Newton-based methods combined with conjugate gradient, over gradient-based updates, especially for ill-conditioned problems.
• Abstract（参考訳）: マシンアンラーニングは、完全に再トレーニングすることなく、削除されたトレーニングデータの影響を取り除くことを目指している。 シーケンシャルな設定では、削除要求は時間とともに到着し、繰り返し更新することで近似エラーを蓄積することができる。 本稿では,2つのプライバシ設定下での2次未学習手法に対して,パラメータカウント$p$がサンプルサイズ$n$に比例する高次元における誤差蓄積について検討する。 (i)未公開の内的状態を保持し、そのモデルの認定バージョンを公表することのできる「emph{partial unlearning}」 (ii) \emph{perfect unlearning} 発行されたモデルのみを保持し、隠された状態を持たない。 また、各リリースされたモデルに認証保証が適用されるか、リリースされたシーケンス全体に適用されるかによって、ポイントワイズおよびパスワイズ認証を区別する。 ニュートン反復における逆 Hessian-vector product (IHVP) の効率的な解法として共役勾配(CG)を解析する。 提案理論は, 最大 1/2/2/3 Newton--CG 更新は, パーシャルな部分的, パーシャルな部分的, パーシャルなパーフェクトな部分的, パーフェクトなパーフェクトな部分的, パーフェクトな部分的, パーフェクトな部分的, パーフェクトな部分的, パーフェクトな部分的, パーフェクトな部分的モデルの集団リスクを解消するのに十分であることを示す。 数値実験では、特に条件の悪い問題に対して、ニュートン法と共役勾配、勾配に基づく更新を併用した高精度な逐次追跡と実質的な計算ゲインが示されている。

関連論文リスト

• Counterfactual Certification for Sequential Unlearning with Long-Run Performance Guarantees [6.029433950934382]
  認定された機械学習フレームワークをシーケンシャルな削除要求に拡張する。 各モデルリリースは、削除されたグループが決して参加しない、反実的未学習の軌跡に対して認証する。 削除毎の微調整予算を固定することにより、スムーズな凸目標に対して、この手法は要求数に均一に性能損失を拘束し続けることを示す。
  論文  参考訳（メタデータ） (2026-10-13T08:56:26Z)
• GradRepair-ODE: Certified Gradient Repair for Neural ODE Training [0.0]
  ニューラル常微分方程式は、訓練ループ内の数値を使用する。 解法は前方軌道を決定するとともに、解法に渡される勾配に影響を与える。 この結合は、科学的機械学習と連続時間生成モデリングの信頼性の問題を引き起こす。 GradRepair-ODEは、診断ステップでODEの勾配をチェックし、修復し、拒否するための信頼性フレームワークです。
  論文  参考訳（メタデータ） (2026-08-14T22:21:27Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• A Robust Certified Machine Unlearning Method Under Distribution Shift [14.904880015049208]
  我々はニュートン法で認定されたアンラーニングが非非I.d.アンラーニングセットで非効率かつ非効率になることを示す。 本研究では,分散認識型アンラーニングフレームワークにより,より優れたアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-01-11T15:53:19Z)
• Delete and Retain: Efficient Unlearning for Document Classification [1.0026496861838448]
  Hessian Reassignmentは、文書分類におけるクラスアンラーニングのための2段階のモデルに依存しないソリューションである。 標準のテキストベンチマークでは、Hessian Reassignmentはクラスの精度をフルアズアウトクラスに近く保ちながら、桁違いに高速に実行した。 その結果、文書分類における効率的なクラスアンラーニングへの実践的で原則化された道筋が示される。
  論文  参考訳（メタデータ） (2025-12-06T18:57:06Z)
• Grokked Models are Better Unlearners [5.8757712547216485]
  グラクテッドチェックポイントから始めると、ずっと効率的に忘れられる。 ポストグロキングモデルは、左行と左行と左行の間の勾配の調整を減らして、よりモジュラーな表現を学習する。
  論文  参考訳（メタデータ） (2025-12-03T04:35:49Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。