論文の概要: Deep Unlearning via Randomized Conditionally Independent Hessians

• arxiv url: http://arxiv.org/abs/2204.07655v1
• Date: Fri, 15 Apr 2022 21:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 04:21:19.576273
• Title: Deep Unlearning via Randomized Conditionally Independent Hessians
• Title（参考訳）: ランダム化条件付き独立ヘッシアンによるディープアンラーニング
• Authors: Ronak Mehta, Sourav Pal, Vikas Singh, Sathya N. Ravi
• Abstract要約: 近年の法律では、機械学習、すなわち予測モデルから特定のトレーニングサンプルを、トレーニングデータセットに存在しないかのように取り除くことへの関心が高まっている。 我々は,新しい条件独立係数 L-CODEC の変種を用いて,モデルパラメータのサブセットを個々のサンプルレベルで最も意味的な重なり合いで同定する。 代替と比べ、L-CODECは、そうでなければ不可能な設定で、ほぼ未学習を可能にする。
• 参考スコア（独自算出の注目度）: 42.99829184132466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent legislation has led to interest in machine unlearning, i.e., removing specific training samples from a predictive model as if they never existed in the training dataset. Unlearning may also be required due to corrupted/adversarial data or simply a user's updated privacy requirement. For models which require no training (k-NN), simply deleting the closest original sample can be effective. But this idea is inapplicable to models which learn richer representations. Recent ideas leveraging optimization-based updates scale poorly with the model dimension d, due to inverting the Hessian of the loss function. We use a variant of a new conditional independence coefficient, L-CODEC, to identify a subset of the model parameters with the most semantic overlap on an individual sample level. Our approach completely avoids the need to invert a (possibly) huge matrix. By utilizing a Markov blanket selection, we premise that L-CODEC is also suitable for deep unlearning, as well as other applications in vision. Compared to alternatives, L-CODEC makes approximate unlearning possible in settings that would otherwise be infeasible, including vision models used for face recognition, person re-identification and NLP models that may require unlearning samples identified for exclusion. Code can be found at https://github.com/vsingh-group/LCODEC-deep-unlearning/
• Abstract（参考訳）: 近年の法律では、トレーニングデータセットに存在しないかのように、予測モデルから特定のトレーニングサンプルを取り除くなど、機械学習への関心が高まっている。 不正なデータや、単にユーザの更新されたプライバシー要件のために、アンラーニングも必要になる。 トレーニングを必要としないモデル(k-NN)では、最も近いサンプルを削除するだけで有効である。 しかし、このアイデアはよりリッチな表現を学ぶモデルには適用できない。 最適化に基づく更新を利用する最近のアイデアは、損失関数のヘシアンを反転させるため、モデル次元dと不十分にスケールする。 我々は,新しい条件独立係数 L-CODEC の変種を用いて,モデルパラメータのサブセットを個々のサンプルレベルで最も意味的な重なり合いで同定する。 我々のアプローチは(おそらく)巨大な行列を反転させる必要性を完全に回避する。 マルコフの毛布選択を利用して、L-CODECは深層学習や視覚における他の応用にも適していると仮定する。 代替品と比較して、l-codecは、顔認識に使用されるビジョンモデル、人物再識別、非学習サンプルを除外するために識別する必要があるnlpモデルなど、実現不可能な設定で近似アンラーニングを可能にする。 コードはhttps://github.com/vsingh-group/LCODEC-deep-unlearning/にある。

関連論文リスト

• Zero-Shot Class Unlearning in CLIP with Synthetic Samples [0.0]
  私たちは、画像テキストペアの巨大なデータセットに基づいてトレーニングされたデュアルビジョン言語モデルであるCLIP内でのアンラーニングに重点を置いています。 リプシッツ正則化をCLIPのマルチモーダル文脈に適用する。 我々の忘れる手順は反復的であり、合成された忘れ物セットの精度を追跡し、選択された閾値未満の精度で停止する。
  論文  参考訳（メタデータ） (2024-07-10T09:16:14Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Deep Regression Unlearning [6.884272840652062]
  我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。 我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
  論文  参考訳（メタデータ） (2022-10-15T05:00:20Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Zero-Shot Machine Unlearning [6.884272840652062]
  現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。 トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。 本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
  論文  参考訳（メタデータ） (2022-01-14T19:16:09Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。