論文の概要: Deep Unlearn: Benchmarking Machine Unlearning

• arxiv url: http://arxiv.org/abs/2410.01276v1
• Date: Wed, 2 Oct 2024 06:41:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:09:02.179837
• Title: Deep Unlearn: Benchmarking Machine Unlearning
• Title（参考訳）: Deep Unlearn: ベンチマークマシンのアンラーニング
• Authors: Xavier F. Cadet, Anastasia Borovykh, Mohammad Malekzadeh, Sara Ahmadi-Abhari, Hamed Haddadi,
• Abstract要約: 機械学習(MU)は、訓練された機械学習モデルの学習可能なパラメータから、特定のデータポイントの影響を取り除くことを目的としている。 本稿では,様々なベンチマークデータセットおよびモデルを対象とした18種類の最先端MU手法について検討する。
• 参考スコア（独自算出の注目度）: 7.450700594277741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning (MU) aims to remove the influence of particular data points from the learnable parameters of a trained machine learning model. This is a crucial capability in light of data privacy requirements, trustworthiness, and safety in deployed models. MU is particularly challenging for deep neural networks (DNNs), such as convolutional nets or vision transformers, as such DNNs tend to memorize a notable portion of their training dataset. Nevertheless, the community lacks a rigorous and multifaceted study that looks into the success of MU methods for DNNs. In this paper, we investigate 18 state-of-the-art MU methods across various benchmark datasets and models, with each evaluation conducted over 10 different initializations, a comprehensive evaluation involving MU over 100K models. We show that, with the proper hyperparameters, Masked Small Gradients (MSG) and Convolution Transpose (CT), consistently perform better in terms of model accuracy and run-time efficiency across different models, datasets, and initializations, assessed by population-based membership inference attacks (MIA) and per-sample unlearning likelihood ratio attacks (U-LiRA). Furthermore, our benchmark highlights the fact that comparing a MU method only with commonly used baselines, such as Gradient Ascent (GA) or Successive Random Relabeling (SRL), is inadequate, and we need better baselines like Negative Gradient Plus (NG+) with proper hyperparameter selection.
• Abstract（参考訳）: 機械学習(MU)は、訓練された機械学習モデルの学習可能なパラメータから、特定のデータポイントの影響を取り除くことを目的としている。 これは、データプライバシ要件、信頼性、デプロイされたモデルの安全性を考慮して、重要な機能である。 MUは、畳み込みネットやビジョントランスフォーマーのようなディープニューラルネットワーク(DNN)では特に難しい。 にもかかわらず、コミュニティはDNNのためのMUメソッドの成功を探求する厳格で多面的な研究を欠いている。 本稿では,ベンチマークデータセットとモデルを用いた18の最先端MU手法について検討し,それぞれ10種類の初期化を行い,MUを100K以上のモデルで包括的に評価する。 適切なハイパーパラメータでは、Masked Small Gradients (MSG) とConvolution Transpose (CT) が、モデル精度やデータセット、初期化における実行時の効率の点で一貫して優れており、人口ベースメンバーシップ推論攻撃 (MIA) とサンプルごとの未学習確率比攻撃 (U-LiRA) によって評価されている。 さらに、我々のベンチマークでは、MU法をグラディエント・アセント (GA) や逐次ランダム・リラベル (SRL) のような一般的なベースラインのみと比較するのが不十分であり、負のグラディエント・プラス (NG+) のようなより良いベースラインと適切なハイパーパラメータ選択が必要であるという事実を強調した。

関連論文リスト

• SEMU: Singular Value Decomposition for Efficient Machine Unlearning [9.61813564612515]
  マシン・アンラーニング(MU)は、今後の安全規則を満たすためにますます重要になっている。 効率的な機械学習(SEMU)のための特異値分解法を提案する。 SEMUは変更が必要なモデルパラメータの数を最小限に抑え、不要な知識を効果的に除去する。
  論文  参考訳（メタデータ） (2025-02-11T14:36:39Z)
• Robustness of Selected Learning Models under Label-Flipping Attack [1.3812010983144798]
  ラベルフリップに基づく敵攻撃を受けた場合、マルウェアデータセット上で訓練された従来の機械学習モデルとディープラーニングモデルを比較した。 敵攻撃に対して試験したモデルのロバスト性は,初期精度とロバスト性の両方を最大限に組み合わせたモデルで広範囲に変動することがわかった。
  論文  参考訳（メタデータ） (2025-01-21T22:00:54Z)
• MUSO: Achieving Exact Machine Unlearning in Over-Parameterized Regimes [19.664090734076712]
  マシン・アンラーニング(MU)は、訓練されたモデルを特定のデータでトレーニングされたことがないかのように振る舞う。 本研究では,学習と学習のタスクを統一する交互最適化アルゴリズムを提案する。 このアルゴリズムの有効性は、数値実験によって確認され、様々なシナリオにおける未学習における優れた性能を強調している。
  論文  参考訳（メタデータ） (2024-10-11T06:17:17Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。