論文の概要: Langevin Unlearning: A New Perspective of Noisy Gradient Descent for
Machine Unlearning
- arxiv url: http://arxiv.org/abs/2401.10371v4
- Date: Wed, 7 Feb 2024 19:08:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 18:21:05.456104
- Title: Langevin Unlearning: A New Perspective of Noisy Gradient Descent for
Machine Unlearning
- Title(参考訳): Langevin Unlearning: 機械学習のためのノイズの多い勾配の新たな視点
- Authors: Eli Chien, Haoyu Wang, Ziang Chen, Pan Li
- Abstract要約: プライバシは、スクラッチから再トレーニングするための統計的不安定性として定義される。
勾配勾配に基づくアンラーニングフレームワークであるランゲヴィン・アンラーニングを提案する。
- 参考スコア(独自算出の注目度): 22.44567318992487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning has raised significant interest with the adoption of laws
ensuring the ``right to be forgotten''. Researchers have provided a
probabilistic notion of approximate unlearning under a similar definition of
Differential Privacy (DP), where privacy is defined as statistical
indistinguishability to retraining from scratch. We propose Langevin
unlearning, an unlearning framework based on noisy gradient descent with
privacy guarantees for approximate unlearning problems. Langevin unlearning
unifies the DP learning process and the privacy-certified unlearning process
with many algorithmic benefits. These include approximate certified unlearning
for non-convex problems, complexity saving compared to retraining, sequential
and batch unlearning for multiple unlearning requests. We verify the
practicality of Langevin unlearning by studying its privacy-utility-complexity
trade-off via experiments on benchmark datasets, and also demonstrate its
superiority against gradient-decent-plus-output-perturbation based approximate
unlearning.
- Abstract(参考訳): 機械学習は「忘れられる権利」を保障する法律の採用で大きな関心を集めている。
研究者は、差分プライバシー(DP)という同様の定義の下で、近似的アンラーニングという確率論的概念を提供し、プライバシーはスクラッチから再トレーニングするための統計的不明瞭さとして定義される。
我々は,無学習問題に対するプライバシ保証を伴う騒音勾配降下に基づく無学習フレームワークlangevin unlearningを提案する。
Langevin unlearningは、DP学習プロセスとプライバシ認定未学習プロセスを、多くのアルゴリズム上の利点で統合する。
これには、非凸問題に対する近似認定アンラーニング、再トレーニングに対する複雑さの節約、複数のアンラーニング要求に対するシーケンシャルおよびバッチアンラーニングが含まれる。
ベンチマークデータセットを用いた実験により,Langevin Unlearningのプライバシ・ユーティリティ・複雑さトレードオフを検証し,その実用性を検証した。
関連論文リスト
- Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer
Level Attack and Knowledge Distillation [21.587358050012032]
本稿では,階層攻撃アンラーニング(Layer attack unlearning)と呼ばれる,高速で斬新な機械学習パラダイムを提案する。
そこで本研究では, 試料を効率よく検出する部分PGDアルゴリズムを提案する。
また,教師から意思決定境界を確実に学習するために知識蒸留(KD)も活用する。
論文 参考訳(メタデータ) (2023-12-28T04:38:06Z) - Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs [2.1271873498506038]
本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
論文 参考訳(メタデータ) (2023-10-24T18:15:25Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳(メタデータ) (2023-06-04T18:14:18Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Near-optimal Offline Reinforcement Learning with Linear Representation:
Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。
線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文 参考訳(メタデータ) (2022-03-11T09:00:12Z) - Vertical Machine Unlearning: Selectively Removing Sensitive Information
From Latent Feature Space [21.8933559159369]
遅延特徴空間から機密情報のみを除去することを目的とした縦型アンラーニングモードについて検討する。
我々はこの非学習について直観的かつ形式的な定義を導入し、既存の水平的非学習との関係を示す。
厳密な理論的解析により上界の近似を推定する。
論文 参考訳(メタデータ) (2022-02-27T05:25:15Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:10:48Z) - On Covariate Shift of Latent Confounders in Imitation and Reinforcement
Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。
我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。
我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文 参考訳(メタデータ) (2021-10-13T07:31:31Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:15:10Z) - Concentrated Differentially Private and Utility Preserving Federated
Learning [24.239992194656164]
フェデレーション・ラーニング(Federated Learning)とは、エッジデバイスのセットが、中央サーバのオーケストレーションの下でモデルを協調的にトレーニングする、機械学習環境である。
本稿では,モデルユーティリティの劣化を伴わずに,プライバシ問題に対処するフェデレーション学習手法を開発する。
このアプローチのエンドツーエンドのプライバシ保証を厳格に提供し、理論的収束率を分析します。
論文 参考訳(メタデータ) (2020-03-30T19:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。