論文の概要: Scissorhands: Scrub Data Influence via Connection Sensitivity in
Networks
- arxiv url: http://arxiv.org/abs/2401.06187v1
- Date: Thu, 11 Jan 2024 08:39:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 21:06:40.638299
- Title: Scissorhands: Scrub Data Influence via Connection Sensitivity in
Networks
- Title(参考訳): scissorhands:ネットワークの接続感度によるデータのスクラブ
- Authors: Jing Wu and Mehrtash Harandi
- Abstract要約: 我々は、トレーニングデータのサブセットだけで効果的に動作するScisorhandsという新しい機械学習アプローチを提案する。
5つの異なるデータセットで実施した実験結果から,Scisorhandsはトレーニングデータのごく一部しか利用していないものの,既存の手法と比較して競争性能が向上していることが示された。
- 参考スコア(独自算出の注目度): 29.65766951127157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning has become a pivotal task to erase the influence of data
from a trained model. It adheres to recent data regulation standards and
enhances the privacy and security of machine learning applications. Most
existing machine unlearning methods perform well, however, they typically
necessitate access to the entirety of the remaining data, which might not be
feasible in certain scenarios. In this work, we present a new machine
unlearning approach Scissorhands, which operates effectively with only a subset
of the training data. Initially, Scissorhands identifies the most pertinent
parameters in the given model relative to the forgetting data via connection
sensitivity. This process involves reinitializing the most influential top-$k$
percent of these parameters, resulting in a trimmed model for erasing the
influence of the forgetting data. Subsequently, Scissorhands retrains the
trimmed model through a min-max optimization process, seeking parameters that
preserve information on the remaining data while discarding information related
to the forgetting data. Our experimental results, conducted across five
distinct datasets and utilizing both CNN and ViT, demonstrate that
Scissorhands, despite utilizing only a limited portion of the training data,
showcases competitive performance when compared to existing methods.
- Abstract(参考訳): 機械学習は、トレーニングされたモデルからデータの影響を消すための重要なタスクになっている。
これは最近のデータ規制基準に準拠し、機械学習アプリケーションのプライバシとセキュリティを強化する。
しかし、既存の機械学習手法の多くはうまく機能するが、通常は残りのデータ全体にアクセスする必要があり、それは特定のシナリオでは実現できないかもしれない。
そこで本研究では,学習データのサブセットのみを用いて効果的に動作する新しい機械学習手法であるsassorhandsを提案する。
当初、Scisorhandsは接続感度による忘れたデータに対して、与えられたモデルの中で最も重要なパラメータを識別する。
このプロセスは、これらのパラメータの最も影響力のあるk$パーセントを再起動させ、結果として、忘れるデータの影響を消去するトリミングモデルをもたらす。
その後、Scisorhandsはmin-max最適化プロセスを通じてトリミングされたモデルをトレーニングし、残りのデータに関する情報を保存し、忘れたデータに関する情報を破棄するパラメータを求める。
5つのデータセットにまたがって実施し,cnn と vit を併用した実験結果から,sassorhands はトレーニングデータの一部しか利用していないものの,既存の手法と比較した場合の競争力を示す。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z) - Approximate, Adapt, Anonymize (3A): a Framework for Privacy Preserving
Training Data Release for Machine Learning [3.29354893777827]
データリリースフレームワークである3A(Approximate, Adapt, Anonymize)を導入し、機械学習のデータユーティリティを最大化する。
本稿では,実データセットと民生データセットでトレーニングしたモデルの性能指標の相違が最小限に抑えられることを示す実験的な証拠を示す。
論文 参考訳(メタデータ) (2023-07-04T18:37:11Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2023-01-27T07:53:50Z) - Localized Shortcut Removal [4.511561231517167]
保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。
これはしばしば、機械学習のショートカットの存在が原因である。
我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
論文 参考訳(メタデータ) (2022-11-24T13:05:33Z) - Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free
Replay [52.251188477192336]
FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。
データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。
本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
論文 参考訳(メタデータ) (2022-07-22T17:30:51Z) - Investigating classification learning curves for automatically generated
and labelled plant images [0.1338174941551702]
本研究では,異なる生育段階のマニトバ草原に共通する作物や雑草を代表とする植物画像のデータセットを提示する。
本稿では、ResNetアーキテクチャを用いて、このデータに基づく分類タスクの学習曲線を決定する。
ラベルノイズとトレーニング可能なパラメータの低減が,このデータセットの学習曲線に与える影響について検討する。
論文 参考訳(メタデータ) (2022-05-22T23:28:42Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Data Impressions: Mining Deep Models to Extract Samples for Data-free
Applications [26.48630545028405]
データインプレッションはトレーニングデータのプロキシとして機能し、さまざまなタスクを実現するために使用することができる。
いくつかのコンピュータビジョンタスクにおけるデータインプレッションの適用性を示す。
論文 参考訳(メタデータ) (2021-01-15T11:37:29Z) - Privacy Enhancing Machine Learning via Removal of Unwanted Dependencies [21.97951347784442]
本稿では,特定のアプリケーションに送信される前に,データ中のセンシティブな情報を除去する,教師付き・敵対型学習手法の新たな変種について検討する。
提案手法は,エンド・ツー・エンド方式で特徴マッピングと予測モデルを同時に保存するプライバシー保護を最適化する。
モバイルセンシングと顔データを用いた実験結果から,予測モデルの実用性能の維持に成功し,予測性能の低下を招いた。
論文 参考訳(メタデータ) (2020-07-30T19:55:10Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。