論文の概要: Unrolling SGD: Understanding Factors Influencing Machine Unlearning
- arxiv url: http://arxiv.org/abs/2109.13398v1
- Date: Mon, 27 Sep 2021 23:46:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 14:35:19.011206
- Title: Unrolling SGD: Understanding Factors Influencing Machine Unlearning
- Title（参考訳）: unrolling sgd: 機械学習に影響を与える要因の理解
- Authors: Anvith Thudi, Gabriel Deza, Varun Chandrasekaran, Nicolas Papernot
- Abstract要約: 機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
- 参考スコア（独自算出の注目度）: 17.6607904333012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning is the process through which a deployed machine learning
model forgets about one of its training data points. While naively retraining
the model from scratch is an option, it is almost always associated with a
large computational effort for deep learning models. Thus, several approaches
to approximately unlearn have been proposed along with corresponding metrics
that formalize what it means for a model to forget about a data point. In this
work, we first taxonomize approaches and metrics of approximate unlearning. As
a result, we identify verification error, i.e., the L2 difference between the
weights of an approximately unlearned and a naively retrained model, as a
metric approximate unlearning should optimize for as it implies a large class
of other metrics. We theoretically analyze the canonical stochastic gradient
descent (SGD) training algorithm to surface the variables which are relevant to
reducing the verification error of approximate unlearning for SGD. From this
analysis, we first derive an easy-to-compute proxy for verification error
(termed unlearning error). The analysis also informs the design of a new
training objective penalty that limits the overall change in weights during SGD
and as a result facilitates approximate unlearning with lower verification
error. We validate our theoretical work through an empirical evaluation on
CIFAR-10, CIFAR-100, and IMDB sentiment analysis.
- Abstract（参考訳）: 機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
モデルをスクラッチからナイーブに再トレーニングすることは選択肢ですが、ディープラーニングモデルに対する大規模な計算作業とほぼ常に関連しています。
このように、モデルがデータポイントを忘れることの意味を形式化するメトリクスとともに、およそ未学習のいくつかのアプローチが提案されている。
本研究では,まず近似学習のアプローチとメトリクスを分類する。
その結果、検証誤差、すなわち、おおよそ未学習の重みとnaively retrainedモデルの間のl2の差を、メトリック近似アンラーニングが他のメトリクスの大きなクラスを意味するように最適化すべきであることが明らかとなった。
理論上,標準確率勾配降下(sgd)訓練アルゴリズムを解析し,sgdの近似アンラーニングの検証誤差の低減に関連する変数を探索する。
この分析から,まず検証エラー(unlearning errorと呼ばれる)に対する計算容易なプロキシを導出する。
分析はまた、sgd中の重みの全体的な変化を制限する新しい訓練目的のペナルティの設計を通知し、その結果、検証誤差の低い近似アンラーニングが容易になる。
我々は,CIFAR-10,CIFAR-100,IMDBの感情分析による理論的研究を実証的に検証した。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。
この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。
モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文 参考訳（メタデータ） (2024-02-02T13:33:30Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳（メタデータ） (2023-07-07T03:07:26Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳（メタデータ） (2023-04-11T02:12:02Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Mutual Information Learned Regressor: an Information-theoretic Viewpoint
of Training Regression Systems [10.314518385506007]
回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。
近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。
本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
論文 参考訳（メタデータ） (2022-11-23T03:43:22Z) - On the Necessity of Auditable Algorithmic Definitions for Machine
Unlearning [13.149070833843133]
機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。
まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。
そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
論文 参考訳（メタデータ） (2021-10-22T16:16:56Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。