論文の概要: Stochastic Gradient Langevin Unlearning

• arxiv url: http://arxiv.org/abs/2403.17105v1
• Date: Mon, 25 Mar 2024 18:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 19:55:36.488161
• Title: Stochastic Gradient Langevin Unlearning
• Title（参考訳）: 確率的グラディエント・ランゲヴィン・アンラーニング
• Authors: Eli Chien, Haoyu Wang, Ziang Chen, Pan Li,
• Abstract要約: この研究はLangevin unlearningを提案している。 以上の結果から,ミニバッチの勾配更新は,フルバッチに比べてプライバシーと複雑さのトレードオフが優れていることが示唆された。
• 参考スコア（独自算出の注目度）: 20.546589699647416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ``The right to be forgotten'' ensured by laws for user data privacy becomes increasingly important. Machine unlearning aims to efficiently remove the effect of certain data points on the trained model parameters so that it can be approximately the same as if one retrains the model from scratch. This work proposes stochastic gradient Langevin unlearning, the first unlearning framework based on noisy stochastic gradient descent (SGD) with privacy guarantees for approximate unlearning problems under convexity assumption. Our results show that mini-batch gradient updates provide a superior privacy-complexity trade-off compared to the full-batch counterpart. There are numerous algorithmic benefits of our unlearning approach, including complexity saving compared to retraining, and supporting sequential and batch unlearning. To examine the privacy-utility-complexity trade-off of our method, we conduct experiments on benchmark datasets compared against prior works. Our approach achieves a similar utility under the same privacy constraint while using $2\%$ and $10\%$ of the gradient computations compared with the state-of-the-art gradient-based approximate unlearning methods for mini-batch and full-batch settings, respectively.
• Abstract（参考訳）: 「忘れられる権利」は、ユーザーデータのプライバシーに関する法律によって保証される。 機械学習の目的は、訓練されたモデルパラメータに対する特定のデータポイントの効果を効率よく除去することであり、モデルをスクラッチから再トレーニングするのとほぼ同じである。 本研究は確率勾配ランゲヴィン・アンラーニング(SGD)をベースとした最初のアンラーニングフレームワークである確率勾配ランゲヴィン・アンラーニング(英語版)を提案する。 以上の結果から,ミニバッチの勾配更新は,フルバッチに比べてプライバシーと複雑さのトレードオフが優れていることが示唆された。 私たちのアンラーニングアプローチには、再トレーニングよりも複雑性の削減、シーケンシャルおよびバッチアンラーニングのサポートなど、多くのアルゴリズム的なメリットがあります。 本手法のプライバシ・ユーティリティ・複雑さのトレードオフを検討するため,従来の手法と比較したベンチマークデータセットの実験を行った。 提案手法は, 2 %$ と 10 %$ の勾配計算を, ミニバッチおよびフルバッチ設定のための最先端の勾配に基づく近似アンラーニング手法と比較しながら, 同一のプライバシー制約下で同様のユーティリティを実現する。

関連論文リスト

• Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
  ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。 この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。 実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:43:30Z)
• Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning [22.44567318992487]
  プライバシは、スクラッチから再トレーニングするための統計的不安定性として定義される。 勾配勾配に基づくアンラーニングフレームワークであるランゲヴィン・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2024-01-18T20:35:47Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Efficient Gradient Estimation via Adaptive Sampling and Importance Sampling [34.50693643119071]
  適応的あるいは重要なサンプリングは、勾配推定におけるノイズを低減する。 本稿では,既存の重要関数をフレームワークに組み込むアルゴリズムを提案する。 計算オーバーヘッドを最小限に抑えた分類・回帰タスクにおける収束性の改善を観察する。
  論文  参考訳（メタデータ） (2023-11-24T13:21:35Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Fighting Uncertainty with Gradients: Offline Reinforcement Learning via Diffusion Score Matching [22.461036967440723]
  我々は不確実性指標としてデータへのスムーズな距離について検討し、2つの有益な性質を持つと主張している。 スコアマッチング技術を用いて,これらの勾配を効率的に学習できることを示す。 本研究では,高次元問題における一階計画を実現するためのスコアガイドプランニング(SGP)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T23:40:58Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。