論文の概要: Descent-to-Delete: Gradient-Based Methods for Machine Unlearning
- arxiv url: http://arxiv.org/abs/2007.02923v1
- Date: Mon, 6 Jul 2020 17:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 01:42:33.782258
- Title: Descent-to-Delete: Gradient-Based Methods for Machine Unlearning
- Title（参考訳）: fall-to-delete:グラデーションに基づく機械学習手法
- Authors: Seth Neel, Aaron Roth, Saeed Sharifi-Malvajerdi
- Abstract要約: 任意に長い逆更新を処理できる最初のデータ削除アルゴリズムを提供する。
例えば、削除後、最適化アルゴリズムによって維持される状態全体が、私たちが再訓練された状態と統計的に区別できないことを問うことができる。
- 参考スコア（独自算出の注目度）: 15.647473776016042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the data deletion problem for convex models. By leveraging
techniques from convex optimization and reservoir sampling, we give the first
data deletion algorithms that are able to handle an arbitrarily long sequence
of adversarial updates while promising both per-deletion run-time and
steady-state error that do not grow with the length of the update sequence. We
also introduce several new conceptual distinctions: for example, we can ask
that after a deletion, the entire state maintained by the optimization
algorithm is statistically indistinguishable from the state that would have
resulted had we retrained, or we can ask for the weaker condition that only the
observable output is statistically indistinguishable from the observable output
that would have resulted from retraining. We are able to give more efficient
deletion algorithms under this weaker deletion criterion.
- Abstract（参考訳）: 凸モデルのデータ削除問題について検討する。
コンベックス最適化とリザーバサンプリングのテクニックを活用することで、更新シーケンスの長さで成長しない、削除毎のランタイムと定常エラーの両方を約束しながら、任意の長さの逆更新を処理することができる最初のデータ削除アルゴリズムを与える。
例えば、最適化アルゴリズムによって維持される状態全体が、私たちが再学習した状態と統計的に区別できないか、あるいは、観測可能な出力のみが再訓練の結果生じた観測可能な出力と統計的に区別できないという弱い条件を問うことができる。
この弱い削除基準の下で、より効率的な削除アルゴリズムを与えることができます。
関連論文リスト
- CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。
トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-17T18:34:58Z) - Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。
我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-04-02T07:54:18Z) - Truly No-Regret Learning in Constrained MDPs [61.78619476991494]
未知のCMDPで学習するモデルベース原始双対アルゴリズムを提案する。
提案アルゴリズムは,誤差のキャンセルを伴わずにサブ線形後悔を実現する。
論文 参考訳（メタデータ） (2024-02-24T09:47:46Z) - EraseDiff: Erasing Data Influence in Diffusion Models [51.225365010401006]
データ記憶に関する問題に対処する未学習アルゴリズムであるEraseDiffを導入する。
提案手法は,非学習課題を制約付き最適化問題として定式化する。
本稿では,EraseDiffがモデルの有用性,有効性,効率を効果的に維持していることを示す。
論文 参考訳（メタデータ） (2024-01-11T09:30:36Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。
誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。
ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-26T12:43:25Z) - Algorithms that Approximate Data Removal: New Results and Limitations [2.6905021039717987]
本研究では,経験的リスク最小化を用いて学習した機械学習モデルからユーザデータを削除することの問題点について検討する。
計算とメモリ効率を両立させるオンラインアンラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-09-25T17:20:33Z) - Adaptive Machine Unlearning [21.294828533009838]
SISフレキシブルリトレーニングは、完全にトレーニングされたモデルよりも安価な計算リトレーニングで、モデルから削除されたデータポイントを削除することを目的としている。
我々は、事前の作業が非適応的削除シーケンスの保証をいかに与え、非常に強力なアルゴリズムに対して強力な証明可能な削除保証を与えるかを示す。
論文 参考訳（メタデータ） (2021-06-08T14:11:53Z) - Online Forgetting Process for Linear Regression Models [18.336825781223034]
EUの「禁止すべき権利」規制に動機付けられて、統計データ削除問題の研究を開始した。
本稿では,低次元ケースに対する削除認識アルゴリズムのtextttFIFD-OLS を提案し,破滅的なランク揺らぎ現象を目撃する。
本稿では,新しいオンライン正規化手法を用いたtextttFIFD-Adaptive Ridge アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-03T02:57:53Z) - Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。
提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
論文 参考訳（メタデータ） (2020-10-15T17:07:10Z) - Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted
Data [4.725669222165439]
破損したデータの教師なし回復のための新しい確率的手法を提案する。
劣化したサンプルの大規模なアンサンブルを考慮し,クリーンな値の正確な後部を復元する。
我々は、欠落した値とノイズの共通の設定の下で、データリカバリタスクでモデルをテストします。
論文 参考訳（メタデータ） (2020-06-30T16:18:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。