論文の概要: Certified Minimax Unlearning with Generalization Rates and Deletion Capacity

• arxiv url: http://arxiv.org/abs/2312.10336v2
• Date: Wed, 30 Oct 2024 14:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 20:43:55.419847
• Title: Certified Minimax Unlearning with Generalization Rates and Deletion Capacity
• Title（参考訳）: 一般化率と削除能力を有する認定ミニマックスアンラーニング
• Authors: Jiaqi Liu, Jian Lou, Zhan Qin, Kui Ren,
• Abstract要約: ミニマックスモデルに対する$(epsilon,delta)$-certified machine unlearningの問題について検討する。 我々は,全ヘッセン語に基づく完全更新のための,新しいミニマックスアンラーニングステップを開発する。
• 参考スコア（独自算出の注目度）: 28.998771902033003
• License:
• Abstract: We study the problem of $(\epsilon,\delta)$-certified machine unlearning for minimax models. Most of the existing works focus on unlearning from standard statistical learning models that have a single variable and their unlearning steps hinge on the direct Hessian-based conventional Newton update. We develop a new $(\epsilon,\delta)$-certified machine unlearning algorithm for minimax models. It proposes a minimax unlearning step consisting of a total-Hessian-based complete Newton update and the Gaussian mechanism borrowed from differential privacy. To obtain the unlearning certification, our method injects calibrated Gaussian noises by carefully analyzing the "sensitivity" of the minimax unlearning step (i.e., the closeness between the minimax unlearning variables and the retraining-from-scratch variables). We derive the generalization rates in terms of population strong and weak primal-dual risk for three different cases of loss functions, i.e., (strongly-)convex-(strongly-)concave losses. We also provide the deletion capacity to guarantee that a desired population risk can be maintained as long as the number of deleted samples does not exceed the derived amount. With training samples $n$ and model dimension $d$, it yields the order $\mathcal O(n/d^{1/4})$, which shows a strict gap over the baseline method of differentially private minimax learning that has $\mathcal O(n/d^{1/2})$. In addition, our rates of generalization and deletion capacity match the state-of-the-art rates derived previously for standard statistical learning models.
• Abstract（参考訳）: ミニマックスモデルに対する$(\epsilon,\delta)$-certified machine unlearningの問題について検討する。 既存の研究の多くは、単一の変数を持つ標準的な統計学習モデルから学習を解き放つことに焦点を当てており、その学習ステップは、ヘッセンをベースとした従来のニュートンの更新に則っている。 我々はミニマックスモデルのための新しい$(\epsilon,\delta)$-certified machine unlearningアルゴリズムを開発した。 これは、全Hessianベースの完全なニュートン更新と、差分プライバシーから借用されたガウス機構からなるミニマックスアンラーニングステップを提案する。 アンラーニング認定を得るためには,ミニマックスアンラーニングステップ(ミニマックスアンラーニング変数とスクラッチ変数との近接性)の「感度」を慎重に分析し,校正されたガウスノイズを注入する。 損失関数の3つの異なるケース、すなわち(強-)凸-(強-)凸-(強-)凸損失に対する集団の強い集団と弱い原始-双対リスクの観点から一般化率を導出する。 また、削除されたサンプルの数が導出量を超えない限り、所望の人口リスクを維持することができるよう、削除能力も提供します。 トレーニングサンプル$n$とモデル次元$d$では、$\mathcal O(n/d^{1/4})$が得られ、これは、$\mathcal O(n/d^{1/2})$を持つ微分プライベートミニマックス学習のベースライン法よりも厳密なギャップを示す。 さらに、我々の一般化と削除能力の速度は、従来の標準統計学習モデルで導かれた最先端の速度と一致する。

関連論文リスト

• Agnostic Smoothed Online Learning [5.167069404528051]
  本稿では,$mu$の事前知識を必要とせずに,オンライン学習を円滑に行うためのサブ線形後悔を保証するアルゴリズムを提案する。 R-Coverは、次元$d$を持つ関数クラスに対して、適応的後悔$tilde O(sqrtdT/sigma)$を持つ。
  論文  参考訳（メタデータ） (2024-10-07T15:25:21Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Robust Empirical Risk Minimization with Tolerance [24.434720137937756]
  我々は、(ロバストな)$textitempirical risk minimization$(RERM)の基本パラダイムについて研究する。 自然寛容なRERMは、$mathbbRd$を超える$gamma$-tolerantな学習VCクラスに十分であることを示す。
  論文  参考訳（メタデータ） (2022-10-02T21:26:15Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Autocalibration and Tweedie-dominance for Insurance Pricing with Machine Learning [0.0]
  逸脱の最小化には, 下位部分モーメントの重み付き差分の積分と, 特定のスケールで測定されたバイアスとのトレードオフが伴うことが示された。 バイアスを補正する新しい手法は、分析にさらに局所的なGLMステップを追加する。 凸順序は、競合するモデルを比較する自然なツールであるように見える。
  論文  参考訳（メタデータ） (2021-03-05T12:40:30Z)
• Remember What You Want to Forget: Algorithms for Machine Unlearning [37.656345901739506]
  学習モデルからデータポイントを忘れる問題について検討する。 最大$O(n/d1/4)のサンプルを削除できるアンラーニングアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-03-04T19:28:57Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Statistical-Query Lower Bounds via Functional Gradients [19.5924910463796]
  我々は、寛容$n- (1/epsilon)b$の統計クエリアルゴリズムは、一定の$bに対して少なくとも$2nc epsilon$クエリを使用する必要があることを示す。 実数値学習では珍しいSQ学習アルゴリズムが一般的である(相関学習とは対照的に)。
  論文  参考訳（メタデータ） (2020-06-29T05:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。