論文の概要: Gaussian Certified Unlearning in High Dimensions: A Hypothesis Testing Approach

• arxiv url: http://arxiv.org/abs/2510.13094v1
• Date: Wed, 15 Oct 2025 02:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.475722
• Title: Gaussian Certified Unlearning in High Dimensions: A Hypothesis Testing Approach
• Title（参考訳）: 高次元におけるガウス認定アンラーニング--仮説テストによるアプローチ
• Authors: Aaradhya Pandey, Arnab Auddy, Haolin Zou, Arian Maleki, Sanjeev Kulkarni,
• Abstract要約: 我々は、高次元のレジームによく適合する標準的で堅牢な概念である$varepsilon$-Gaussian certifiabilityを導入する。 理論的にはニュートン法の一段階に基づいて広く使われている未学習アルゴリズムの性能を解析する。
• 参考スコア（独自算出の注目度）: 11.591273159662256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning seeks to efficiently remove the influence of selected data while preserving generalization. Significant progress has been made in low dimensions $(p \ll n)$, but high dimensions pose serious theoretical challenges as standard optimization assumptions of $\Omega(1)$ strong convexity and $O(1)$ smoothness of the per-example loss $f$ rarely hold simultaneously in proportional regimes $(p\sim n)$. In this work, we introduce $\varepsilon$-Gaussian certifiability, a canonical and robust notion well-suited to high-dimensional regimes, that optimally captures a broad class of noise adding mechanisms. Then we theoretically analyze the performance of a widely used unlearning algorithm based on one step of the Newton method in the high-dimensional setting described above. Our analysis shows that a single Newton step, followed by a well-calibrated Gaussian noise, is sufficient to achieve both privacy and accuracy in this setting. This result stands in sharp contrast to the only prior work that analyzes machine unlearning in high dimensions \citet{zou2025certified}, which relaxes some of the standard optimization assumptions for high-dimensional applicability, but operates under the notion of $\varepsilon$-certifiability. That work concludes %that a single Newton step is insufficient even for removing a single data point, and that at least two steps are required to ensure both privacy and accuracy. Our result leads us to conclude that the discrepancy in the number of steps arises because of the sub optimality of the notion of $\varepsilon$-certifiability and its incompatibility with noise adding mechanisms, which $\varepsilon$-Gaussian certifiability is able to overcome optimally.
• Abstract（参考訳）: 機械学習は、一般化を維持しながら、選択したデータの影響を効率的に除去しようとする。 重要な進歩は、低次元$(p \ll n)$で行われているが、高次元は、標準最適化の仮定である$\Omega(1)$強い凸性と$O(1)$の滑らかさとして真に理論上の問題を引き起こす。 本研究では、高次元のレジームに適した標準的で頑健な概念である$\varepsilon$-Gaussian certifiabilityを導入し、広い種類のノイズ付加機構を最適に捉える。 そこで,本稿では,Newton法の一段階に基づく広範に使用されている未学習アルゴリズムの性能を,上述した高次元設定で理論的に解析する。 分析の結果,1つのニュートンステップ,それによく校正されたガウスノイズが,この環境でのプライバシーと正確性の両方を達成するのに十分であることがわかった。 この結果は、高次元における機械学習を解析する唯一の先行研究である「citet{zou2025certified}」とは対照的に、高次元の適用性に関する標準的な最適化仮定を緩和するが、$\varepsilon$-certifiability(英語版)という概念の下で機能する。 この作業は、単一のNewtonステップが単一のデータポイントを削除しても不十分であり、プライバシと正確性の両方を保証するために少なくとも2つのステップが必要である、と結論付けている。 その結果、ステップ数における差は、$\varepsilon$-certifiabilityという概念のサブ最適性と、$\varepsilon$-Gaussian certifiabilityが最適に克服できるノイズ付加機構との相容れないことから生じるという結論に至った。

関連論文リスト

• Stochastic Nonsmooth Convex Optimization with Heavy-Tailed Noises: High-Probability Bound, In-Expectation Rate and Initial Distance Adaptation [22.758674468435302]
  重尾雑音系では、勾配と真の速度の差は有限の$p-thモーメントを持つと仮定される。 本稿では,重み付き雑音を用いた非平滑凸最適化の包括的解析を行う。
  論文  参考訳（メタデータ） (2023-03-22T03:05:28Z)
• A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
  本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。 特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T20:43:29Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。