論文の概要: Adaptive Machine Unlearning

• arxiv url: http://arxiv.org/abs/2106.04378v1
• Date: Tue, 8 Jun 2021 14:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:11:35.679177
• Title: Adaptive Machine Unlearning
• Title（参考訳）: 適応型機械学習
• Authors: Varun Gupta, Christopher Jung, Seth Neel, Aaron Roth, Saeed Sharifi-Malvajerdi, Chris Waites
• Abstract要約: SISフレキシブルリトレーニングは、完全にトレーニングされたモデルよりも安価な計算リトレーニングで、モデルから削除されたデータポイントを削除することを目的としている。 我々は、事前の作業が非適応的削除シーケンスの保証をいかに与え、非常に強力なアルゴリズムに対して強力な証明可能な削除保証を与えるかを示す。
• 参考スコア（独自算出の注目度）: 21.294828533009838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data deletion algorithms aim to remove the influence of deleted data points from trained models at a cheaper computational cost than fully retraining those models. However, for sequences of deletions, most prior work in the non-convex setting gives valid guarantees only for sequences that are chosen independently of the models that are published. If people choose to delete their data as a function of the published models (because they don't like what the models reveal about them, for example), then the update sequence is adaptive. In this paper, we give a general reduction from deletion guarantees against adaptive sequences to deletion guarantees against non-adaptive sequences, using differential privacy and its connection to max information. Combined with ideas from prior work which give guarantees for non-adaptive deletion sequences, this leads to extremely flexible algorithms able to handle arbitrary model classes and training methodologies, giving strong provable deletion guarantees for adaptive deletion sequences. We show in theory how prior work for non-convex models fails against adaptive deletion sequences, and use this intuition to design a practical attack against the SISA algorithm of Bourtoule et al. [2021] on CIFAR-10, MNIST, Fashion-MNIST.
• Abstract（参考訳）: データ削除アルゴリズムは、トレーニングされたモデルから削除されたデータポイントの影響を、完全に再トレーニングするよりも安価な計算コストで取り除くことを目的としている。 しかしながら、削除のシーケンスに対して、非凸設定におけるほとんどの先行作業は、公開するモデルとは独立に選択されるシーケンスに対してのみ有効な保証を与える。 公開モデルの関数としてデータを削除することを選んだ場合(例えば、モデルが公開したものが気に入らないなど)、更新シーケンスは適応的です。 本稿では,差分プライバシーと最大情報との接続を用いて,適応シーケンスに対する削除保証から非適応シーケンスに対する削除保証を一般化する。 非適応的削除シーケンスの保証を与える先行研究のアイデアと組み合わせることで、任意のモデルクラスとトレーニング方法論を扱える非常に柔軟なアルゴリズムが実現され、適応的削除シーケンスに対する強力な証明可能な削除保証が提供される。 理論的には、非凸モデルに対する事前の作業が適応的な削除シーケンスに対してどのように失敗するかを示し、この直観を用いてBourtoule等のSISAアルゴリズムに対する実用的な攻撃を設計する。 [2021]CIFAR-10、MNIST、Fashion-MNIST。

関連論文リスト

• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• Erasing Undesirable Influence in Diffusion Models [51.225365010401006]
  拡散モデルは高品質な画像を生成するのに非常に効果的であるが、NSFW(職場では安全ではない)コンテンツの意図しない生成のようなリスクを引き起こす。 本研究では,データに関連付けられた不要な情報を取り除き,保存データに対する拡散モデルの実用性を維持するために設計されたアルゴリズムであるEraseDiffを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T09:30:36Z)
• Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
  カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。 適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。 最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-10-05T14:08:42Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
  本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。 提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
  論文  参考訳（メタデータ） (2020-10-15T17:07:10Z)
• Descent-to-Delete: Gradient-Based Methods for Machine Unlearning [15.647473776016042]
  任意に長い逆更新を処理できる最初のデータ削除アルゴリズムを提供する。 例えば、削除後、最適化アルゴリズムによって維持される状態全体が、私たちが再訓練された状態と統計的に区別できないことを問うことができる。
  論文  参考訳（メタデータ） (2020-07-06T17:54:35Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。