論文の概要: Near-Optimal Pure Machine Unlearning for Smooth Strongly Convex Losses

• arxiv url: http://arxiv.org/abs/2606.01527v1
• Date: Mon, 01 Jun 2026 01:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.768755
• Title: Near-Optimal Pure Machine Unlearning for Smooth Strongly Convex Losses
• Title（参考訳）: Smooth Strongly Convex Lossesのための準最適純粋機械の学習
• Abstract要約: マシンアンラーニングは、訓練されたモデルから個人データの影響を取り除くための法的およびユーザ対応の要件によって動機付けられている。 我々は,約$varepsilon$-unlearningの過剰集団リスクについて,上層と下層の境界を証明した。 我々のアルゴリズムは、スクラッチからモデルを再訓練するよりも指数関数的に精度が向上する。
• 参考スコア（独自算出の注目度）: 12.206530775105962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning is motivated by legal and user-facing requirements to remove the influence of individuals' data from trained models, such as the right to be forgotten. Prior work has developed algorithms and error bounds for unlearning in smooth strongly convex stochastic optimization, but the fundamental statistical cost of unlearning has remained unclear. We nearly resolve this problem by proving upper and lower bounds on the excess population risk of approximate $\varepsilon$-unlearning; our bounds are tight up to a condition-number factor. For mean estimation over the unit ball, our upper and lower bounds match. The optimal rate is the usual statistical error plus an unlearning penalty that interpolates between the retraining-from-scratch rate and an exponentially smaller term as $\varepsilon/d$ grows, where $d$ is the dimension of the model. In particular, when $\varepsilon \gg d$, our $\varepsilon$-unlearning algorithm offers an exponential accuracy improvement over retraining the model from scratch and differentially private baselines. On the other hand, when $\varepsilon \le d$, retraining from scratch is optimal.
• Abstract（参考訳）: マシン・アンラーニングは、忘れられる権利のような訓練されたモデルから個人データの影響を取り除くための法的およびユーザ対応の要件によって動機付けられている。 従来の研究は、滑らかな凸確率最適化における未学習のアルゴリズムとエラー境界を開発したが、未学習の基本的な統計的コストはいまだ不明である。 我々は、この問題を、およそ$\varepsilon$-unlearningの過剰な集団リスクの上下境界を証明し、ほぼ解決する。 単位球の平均推定では、上と下の境界は一致します。 最適なレートは、通常の統計誤差と非学習のペナルティであり、このペナルティは、再学習からスクラッチ率と指数関数的に小さい用語である$\varepsilon/d$の成長を補間する。 特に、$\varepsilon \gg d$のとき、我々の$\varepsilon$-unlearningアルゴリズムは、スクラッチと微分プライベートベースラインからモデルを再トレーニングするよりも指数関数的に精度が向上する。 一方、$\varepsilon \le d$ の場合、スクラッチからのトレーニングは最適である。

関連論文リスト

• Optimally taming biases in black-box models for efficient semiparametric estimation [13.159615239651258]
  補助関数 $mathbbE[T|X=x]$ が一貫して推定できない状態において、標準 DML レートが最適でないことを示す。 この結果から,新たな仮定を課すことなく,ニュアンス推定の1次誤差を除去できるという原理が得られた。
  論文  参考訳（メタデータ） (2026-06-04T16:36:18Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Nearly Optimal Differentially Private ReLU Regression [18.599299269974498]
  微分プライバシ(DP)モデルにおいて、最も基本的な非学習問題の1つ、ReLU回帰について検討する。 我々は,1パスのミニバッチ一般化モデルパーセプトロンアルゴリズムを提案し,解析することで,$epsilon$と公開データの要求を緩和する。
  論文  参考訳（メタデータ） (2025-03-08T02:09:47Z)
• Time Transfer: On Optimal Learning Rate and Batch Size In The Infinite Data Limit [1.8337746049048673]
  事前トレーニングトークンの予算である$T$,$B$と、クリティカルバッチサイズである$B_mathrmcrit$との関係に、最適な$eta$スケーリングの複雑な依存性を示す。 驚くべきことに、観測された最適$eta$と$B$Dynamicsは、$mu$Pモデルスケーリングで保存されている。
  論文  参考訳（メタデータ） (2024-10-08T09:06:34Z)
• Approximation Rates and VC-Dimension Bounds for (P)ReLU MLP Mixture of Experts [17.022107735675046]
  Mixture-of-Experts(MoEs)は、従来のディープラーニングモデルを越えてスケールアップすることができる。 MoMLPモデル全体のVC次元が$tildeO(LmaxnL,JW)$であるので、MoMLPが一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-05T19:11:57Z)
• Certified Minimax Unlearning with Generalization Rates and Deletion Capacity [28.998771902033003]
  ミニマックスモデルに対する$(epsilon,delta)$-certified machine unlearningの問題について検討する。 我々は,全ヘッセン語に基づく完全更新のための,新しいミニマックスアンラーニングステップを開発する。
  論文  参考訳（メタデータ） (2023-12-16T06:03:23Z)
• Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion [46.46038357597395]
  本稿では,新しい解析手法を用いて,未知の非平滑な目的を最適化するアルゴリズムを提案する。 決定論的二階スムーズな目的のために、先進的な楽観的なオンライン学習技術を適用することで、新しい$O(delta0.5)All$が最適または最もよく知られた結果の回復を可能にする。
  論文  参考訳（メタデータ） (2023-02-07T22:09:20Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Memorize to Generalize: on the Necessity of Interpolation in High Dimensional Linear Regression [6.594338220264161]
  機械学習問題における最適な予測リスクを達成するには、トレーニングデータを補間する必要がある。 この設定では、トレーニングエラーで予測(テスト)エラーが必ずスケールするかを特徴付ける。 最適な性能には、問題の固有のノイズフロアよりもかなり高い精度でトレーニングデータを取り付ける必要がある。
  論文  参考訳（メタデータ） (2022-02-20T18:51:45Z)
• Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry [69.24618367447101]
  対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。 損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
  論文  参考訳（メタデータ） (2021-03-02T06:53:44Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。