論文の概要: Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2510.14844v1
• Date: Thu, 16 Oct 2025 16:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.944035
• Title: Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
• Title（参考訳）: 2層ReLUニューラルネットワークの勾配上昇による確率的未学習
• Authors: Odelia Melamed, Gilad Yehudai, Gal Vardi,
• Abstract要約: Unlearningは、訓練されたモデルから特定のデータを削除することを目的としており、プライバシーと倫理的懸念の高まりに対処している。 本稿では, 単純で広く用いられる手法である勾配上昇の理論解析を行う。 勾配上昇は、合成ガウス混合条件下での一般化を保ちながら、未学習を成功させることを示す。
• 参考スコア（独自算出の注目度）: 30.766189455525765
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Machine Unlearning aims to remove specific data from trained models, addressing growing privacy and ethical concerns. We provide a theoretical analysis of a simple and widely used method - gradient ascent - used to reverse the influence of a specific data point without retraining from scratch. Leveraging the implicit bias of gradient descent towards solutions that satisfy the Karush-Kuhn-Tucker (KKT) conditions of a margin maximization problem, we quantify the quality of the unlearned model by evaluating how well it satisfies these conditions w.r.t. the retained data. To formalize this idea, we propose a new success criterion, termed \textbf{$(\epsilon, \delta, \tau)$-successful} unlearning, and show that, for both linear models and two-layer neural networks with high dimensional data, a properly scaled gradient-ascent step satisfies this criterion and yields a model that closely approximates the retrained solution on the retained data. We also show that gradient ascent performs successful unlearning while still preserving generalization in a synthetic Gaussian-mixture setting.
• Abstract（参考訳）: Machine Unlearningは、訓練されたモデルから特定のデータを削除することを目的としており、プライバシーと倫理的懸念の高まりに対処している。 我々は,スクラッチから再学習することなく,特定のデータ点の影響を逆転するために用いられる,単純で広く使用されている勾配上昇法の理論解析を行った。 カルーシュ・クーン・タッカー(KKT)条件を満たす解に対する勾配降下の暗黙バイアスを極大化問題に適用し、これらの条件が保持されたデータにどの程度満足するかを評価することによって、未学習モデルの質を定量化する。 この考え方を定式化するために、新しい成功基準である「textbf{$(\epsilon, \delta, \tau)$-successful} unlearning」を提案し、線形モデルと高次元データを持つ2層ニューラルネットワークの両方に対して、適切にスケールされた勾配上昇ステップがこの基準を満たすことを示し、保持されたデータ上の再学習された解を近似したモデルを生成する。 また、勾配上昇は、合成ガウス混合設定における一般化を保ちながら、未学習を成功させることを示す。

関連論文リスト

• Sharpness-Aware Data Generation for Zero-shot Quantization [36.10612846041737]
  ゼロショット量子化は、元の実際のトレーニングデータにアクセスすることなく、事前訓練された完全精度モデルから量子化モデルを学習することを目的としている。 本稿では,一般化を促進するために,合成データ生成における量化モデルシャープネスを考慮した新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-10-08T13:43:39Z)
• Machine Unlearning under Overparameterization [35.031020618251965]
  機械学習アルゴリズムは、特定のサンプルの影響を取り除き、残りのデータだけで得られたであろうモデルを理想的に回復することを目的としている。 私たちは、多くのモデルがデータをインターポレートし保持する、過剰な設定のトレーニングで学びます。 我々は、正確で近似的なクラスを提供し、様々な未学習実験にまたがって、我々のフレームワークを実証する。
  論文  参考訳（メタデータ） (2025-05-28T17:14:57Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [39.53312099194621]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。