論文の概要: Certified Machine Unlearning via Noisy Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2403.17105v2
• Date: Fri, 11 Oct 2024 22:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:02:51.153645
• Title: Certified Machine Unlearning via Noisy Stochastic Gradient Descent
• Title（参考訳）: 雑音確率勾配による認証機械の非学習
• Authors: Eli Chien, Haoyu Wang, Ziang Chen, Pan Li,
• Abstract要約: 機械学習は、訓練されたモデルに対する特定のデータポイントの効果を効率的に除去することを目的としている。 本研究では,雑音勾配勾配を非学習に活用し,その最初の近似的非学習保証を確立することを提案する。
• 参考スコア（独自算出の注目度）: 20.546589699647416
• License:
• Abstract: ``The right to be forgotten'' ensured by laws for user data privacy becomes increasingly important. Machine unlearning aims to efficiently remove the effect of certain data points on the trained model parameters so that it can be approximately the same as if one retrains the model from scratch. We propose to leverage projected noisy stochastic gradient descent for unlearning and establish its first approximate unlearning guarantee under the convexity assumption. Our approach exhibits several benefits, including provable complexity saving compared to retraining, and supporting sequential and batch unlearning. Both of these benefits are closely related to our new results on the infinite Wasserstein distance tracking of the adjacent (un)learning processes. Extensive experiments show that our approach achieves a similar utility under the same privacy constraint while using $2\%$ and $10\%$ of the gradient computations compared with the state-of-the-art gradient-based approximate unlearning methods for mini-batch and full-batch settings, respectively.
• Abstract（参考訳）: 「忘れられる権利」は、ユーザーデータのプライバシーに関する法律によって保証される。 機械学習の目的は、訓練されたモデルパラメータに対する特定のデータポイントの効果を効率よく除去することであり、モデルをスクラッチから再トレーニングするのとほぼ同じである。 本研究では,予測された雑音性確率勾配勾配を非学習に利用し,凸性仮定の下では最初の近似的非学習保証を確立することを提案する。 当社のアプローチでは,再トレーニングと比較して,複雑性の証明可能な削減,シーケンシャルおよびバッチアンラーニングのサポートなど,いくつかのメリットがある。 これらの利点は、隣接する(未)学習過程の無限のワッサーシュタイン距離追跡に関する我々の新しい結果と密接に関連している。 拡張実験により,本手法は,2 %$ と10 %$ の勾配計算を,ミニバッチおよびフルバッチ設定のための最先端の勾配に基づく近似的アンラーニング法と比較しながら,同一のプライバシー制約下で同様のユーティリティを実現することが示された。

関連論文リスト

• FLOPS: Forward Learning with OPtimal Sampling [1.694989793927645]
  勾配に基づく計算手法は、最近、クエリとも呼ばれる前方通過のみによる学習に焦点が当てられている。 従来の前方学習はモンテカルロサンプリングによる正確な勾配推定のために各データポイントで膨大なクエリを消費する。 本稿では,評価精度と計算効率のバランスを良くするために,訓練中の各データに対して最適なクエリ数を割り当てることを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:16:12Z)
• Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions [11.955062839855334]
  機械学習アルゴリズムは、データのプライバシを強制したり、腐敗または時代遅れのデータを削除したり、ユーザの忘れる権利を尊重するために、スクラッチからモデルから効率的にデータを取得することを目的としています。 我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配勾配のモデルに直接適用できる。
  論文  参考訳（メタデータ） (2024-09-15T15:58:08Z)
• Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
  ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。 この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。 実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:43:30Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Efficient Gradient Estimation via Adaptive Sampling and Importance Sampling [34.50693643119071]
  適応的あるいは重要なサンプリングは、勾配推定におけるノイズを低減する。 本稿では,既存の重要関数をフレームワークに組み込むアルゴリズムを提案する。 計算オーバーヘッドを最小限に抑えた分類・回帰タスクにおける収束性の改善を観察する。
  論文  参考訳（メタデータ） (2023-11-24T13:21:35Z)
• Fighting Uncertainty with Gradients: Offline Reinforcement Learning via Diffusion Score Matching [22.461036967440723]
  我々は不確実性指標としてデータへのスムーズな距離について検討し、2つの有益な性質を持つと主張している。 スコアマッチング技術を用いて,これらの勾配を効率的に学習できることを示す。 本研究では,高次元問題における一階計画を実現するためのスコアガイドプランニング(SGP)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T23:40:58Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。