論文の概要: On the Necessity of Auditable Algorithmic Definitions for Machine
Unlearning
- arxiv url: http://arxiv.org/abs/2110.11891v1
- Date: Fri, 22 Oct 2021 16:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 13:17:42.793366
- Title: On the Necessity of Auditable Algorithmic Definitions for Machine
Unlearning
- Title(参考訳): 機械学習のための可聴性アルゴリズム定義の必要性について
- Authors: Anvith Thudi, Hengrui Jia, Ilia Shumailov, Nicolas Papernot
- Abstract要約: 機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。
まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。
そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
- 参考スコア(独自算出の注目度): 13.149070833843133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning, i.e. having a model forget about some of its training
data, has become increasingly more important as privacy legislation promotes
variants of the right-to-be-forgotten. In the context of deep learning,
approaches for machine unlearning are broadly categorized into two classes:
exact unlearning methods, where an entity has formally removed the data point's
impact on the model by retraining the model from scratch, and approximate
unlearning, where an entity approximates the model parameters one would obtain
by exact unlearning to save on compute costs. In this paper we first show that
the definition that underlies approximate unlearning, which seeks to prove the
approximately unlearned model is close to an exactly retrained model, is
incorrect because one can obtain the same model using different datasets. Thus
one could unlearn without modifying the model at all. We then turn to exact
unlearning approaches and ask how to verify their claims of unlearning. Our
results show that even for a given training trajectory one cannot formally
prove the absence of certain data points used during training. We thus conclude
that unlearning is only well-defined at the algorithmic level, where an
entity's only possible auditable claim to unlearning is that they used a
particular algorithm designed to allow for external scrutiny during an audit.
- Abstract(参考訳): 機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。
ディープラーニングの文脈では、機械学習のアプローチは2つのクラスに大別される: 正確なアンラーニング手法、エンティティがスクラッチからモデルを再トレーニングすることでモデルに対するデータポイントの影響を正式に除去する手法、そして、エンティティが正確なアンラーニングによって得られるモデルパラメータを近似して計算コストを節約するアンラーニング。
本稿では, ほぼ未学習モデルが正確に再学習されたモデルに近いことを証明しようとするアンラーニングの基盤となる定義が, 異なるデータセットを用いて同じモデルが得られるため, 正しくないことを示す。
したがって、モデルをまったく変更せずに解放できる。
そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
以上の結果から,訓練中の特定のデータポイントの欠如を形式的に証明することはできないことがわかった。
したがって、アンラーニングはアルゴリズムレベルでのみ明確に定義され、あるエンティティのアンラーニングに対する唯一の監査可能な主張は、監査中に外部の検査を可能にするように設計された特定のアルゴリズムを使用することである。
関連論文リスト
- Zero-Shot Machine Unlearning at Scale via Lipschitz Regularization [43.81291569160508]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。
本稿では, サンプルの摂動に関して, サンプル出力の平滑化を誘導する手法を提案する。
このスムーズな結果が,一般的なモデル性能を維持しつつ,忘れることに成功していることを示す。
論文 参考訳(メタデータ) (2024-02-02T13:33:30Z) - Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。
タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。
本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文 参考訳(メタデータ) (2024-02-01T16:43:04Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Ticketed Learning-Unlearning Schemes [57.89421552780526]
そこで我々は,学習のためのチケット付きモデルを提案する。
広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
論文 参考訳(メタデータ) (2023-06-27T18:54:40Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳(メタデータ) (2023-04-07T08:50:18Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T07:53:50Z) - Verifiable and Provably Secure Machine Unlearning [37.353982787321385]
機械学習は、トレーニング後の機械学習モデルのトレーニングデータセットからポイントを取り除くことを目的としている。
本稿では,機械のアンラーニングシステムの保証を捉えるための,検証可能なアンラーニングの最初の暗号的定義を示す。
我々は、線形回帰、ロジスティック回帰、ニューラルネットワークの実現可能性を検証するために、3つの異なるアンラーニング手法のプロトコルを実装した。
論文 参考訳(メタデータ) (2022-10-17T14:19:52Z) - Forget Unlearning: Towards True Data-Deletion in Machine Learning [18.656957502454592]
アンラーニングはデータ削除と同等ではなく、「忘れられる権利」を保証していないことを示す。
本稿では,オンライン環境での精度,計算効率,セキュアなデータ削除機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-17T10:06:11Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳(メタデータ) (2021-06-29T05:05:58Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳(メタデータ) (2021-02-01T14:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。