論文の概要: Certified Data Removal Under High-dimensional Settings
- arxiv url: http://arxiv.org/abs/2505.07640v1
- Date: Mon, 12 May 2025 15:11:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.447152
- Title: Certified Data Removal Under High-dimensional Settings
- Title（参考訳）: 高次元環境下での認証データ除去
- Authors: Haolin Zou, Arnab Auddy, Yongchan Kwon, Kamiar Rahnama Rad, Arian Maleki,
- Abstract要約: 我々は、元のモデルパラメータから始まる未学習アルゴリズムを提案し、理論誘導されたニュートンステップのシーケンス(T in 1,2)を実行する。
低次元設定とは異なり、1つのニュートンステップは高次元問題において効果的な未学習には不十分であることを示す。
- 参考スコア（独自算出の注目度）: 17.73837631710377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning focuses on the computationally efficient removal of specific training data from trained models, ensuring that the influence of forgotten data is effectively eliminated without the need for full retraining. Despite advances in low-dimensional settings, where the number of parameters \( p \) is much smaller than the sample size \( n \), extending similar theoretical guarantees to high-dimensional regimes remains challenging. We propose an unlearning algorithm that starts from the original model parameters and performs a theory-guided sequence of Newton steps \( T \in \{ 1,2\}\). After this update, carefully scaled isotropic Laplacian noise is added to the estimate to ensure that any (potential) residual influence of forget data is completely removed. We show that when both \( n, p \to \infty \) with a fixed ratio \( n/p \), significant theoretical and computational obstacles arise due to the interplay between the complexity of the model and the finite signal-to-noise ratio. Finally, we show that, unlike in low-dimensional settings, a single Newton step is insufficient for effective unlearning in high-dimensional problems -- however, two steps are enough to achieve the desired certifiebility. We provide numerical experiments to support the certifiability and accuracy claims of this approach.
- Abstract（参考訳）: 機械学習は、訓練されたモデルから特定のトレーニングデータを計算的に効率的に除去することに焦点を当て、完全に再トレーニングする必要なしに、忘れられたデータの影響を効果的に排除する。
低次元設定の進歩にもかかわらず、パラメータの数はサンプルサイズ \(n \) よりもはるかに小さいが、同様の理論的な保証を高次元のレジームに拡張することは依然として困難である。
本稿では,元モデルパラメータから始まる未学習アルゴリズムを提案し,Newton ステップ \(T \in \{ 1,2\}\) の理論誘導シーケンスを実行する。
この更新後、注意深くスケールしたラプラシアンノイズが推定値に追加され、忘れデータに対する(潜在的に)残差の影響が完全に除去されることが保証される。
固定比 \(n/p \) の 2 つの場合、モデルの複雑さと有限信号-雑音比の間の相互作用により、重要な理論的および計算上の障害が生じることを示す。
最後に、低次元の設定とは異なり、1つのニュートンステップは高次元問題において効果的な未学習には不十分であることを示す。
本稿では,本手法の妥当性と精度を実証するための数値実験を行う。
関連論文リスト
- When to Forget? Complexity Trade-offs in Machine Unlearning [23.507879460531264]
Machine Unlearning(MU)は、トレーニングされたモデルから特定のデータポイントの影響を取り除くことを目的としている。
本研究では,非学習手法の効率を解析し,この問題に対するミニマックス時間における第1の上限値と第2の上限値の設定を行う。
未学習度比の位相図 – 最高の未学習手法の計算コストと完全なモデル再学習を比較する新しいメトリクスを提供する。
論文 参考訳（メタデータ） (2025-02-24T16:56:27Z) - Effective Interplay between Sparsity and Quantization: From Theory to Practice [33.697590845745815]
組み合わせると、空間性と量子化がどう相互作用するかを示す。
仮に正しい順序で適用しても、スパーシリティと量子化の複合誤差は精度を著しく損なう可能性があることを示す。
我々の発見は、資源制約の計算プラットフォームにおける大規模モデルの効率的な展開にまで及んでいる。
論文 参考訳（メタデータ） (2024-05-31T15:34:13Z) - Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Low-rank Characteristic Tensor Density Estimation Part II: Compression
and Latent Density Estimation [31.631861197477185]
生成確率モデルを学習することは、機械学習における中核的な問題である。
本稿では,共同次元化と非パラメトリック密度推定の枠組みを提案する。
提案手法は, 回帰処理, サンプリング, 異常検出において, 極めて有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-06-20T00:38:56Z) - Intrinsic Dimensionality Explains the Effectiveness of Language Model
Fine-Tuning [52.624194343095304]
我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。
実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
論文 参考訳（メタデータ） (2020-12-22T07:42:30Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳（メタデータ） (2020-06-10T14:47:43Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。