論文の概要: Towards Understanding the Feasibility of Machine Unlearning
- arxiv url: http://arxiv.org/abs/2410.03043v1
- Date: Thu, 3 Oct 2024 23:41:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:16:10.891382
- Title: Towards Understanding the Feasibility of Machine Unlearning
- Title（参考訳）: 機械学習の可能性を理解するために
- Authors: Mahtab Sarvmaili, Hassan Sajjad, Ga Wu,
- Abstract要約: 未学習の難易度を定量化するための新しい指標のセットを提案する。
具体的には,学習を成功させるのに必要な条件を評価するために,いくつかの指標を提案する。
また、最も難解なサンプルを特定するためのランキング機構も提示する。
- 参考スコア（独自算出の注目度）: 14.177012256360635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In light of recent privacy regulations, machine unlearning has attracted significant attention in the research community. However, current studies predominantly assess the overall success of unlearning approaches, overlooking the varying difficulty of unlearning individual training samples. As a result, the broader feasibility of machine unlearning remains under-explored. This paper presents a set of novel metrics for quantifying the difficulty of unlearning by jointly considering the properties of target model and data distribution. Specifically, we propose several heuristics to assess the conditions necessary for a successful unlearning operation, examine the variations in unlearning difficulty across different training samples, and present a ranking mechanism to identify the most challenging samples to unlearn. We highlight the effectiveness of the Kernelized Stein Discrepancy (KSD), a parameterized kernel function tailored to each model and dataset, as a heuristic for evaluating unlearning difficulty. Our approach is validated through multiple classification tasks and established machine unlearning algorithms, demonstrating the practical feasibility of unlearning operations across diverse scenarios.
- Abstract（参考訳）: 最近のプライバシー規制に照らして、機械学習は研究コミュニティに大きな注目を集めている。
しかし、近年の研究では、学習しない個別のトレーニングサンプルの様々な難しさを見越して、学習しないアプローチの全体的な成功を主に評価している。
結果として、機械学習の幅広い実現可能性はまだ未調査のままである。
本稿では,対象モデルの特性とデータ分布を協調的に考慮し,学習の難しさを定量化するための新しい指標について述べる。
具体的には、未学習を成功させるために必要な条件を評価するためのヒューリスティックスを提案し、異なるトレーニングサンプル間での未学習難易度の変化を調べ、最も難解なサンプルを特定するためのランキングメカニズムを提案する。
我々は,学習困難度を評価するためのヒューリスティックとして,各モデルとデータセットに合わせたパラメータ化カーネル関数であるカーネル化スタイン離散性(KSD)の有効性を強調した。
提案手法は、複数の分類タスクと確立された機械学習アルゴリズムを通じて検証され、多様なシナリオにおける未学習操作の実現可能性を示す。
関連論文リスト
- Unlearning in- vs. out-of-distribution data in LLMs under gradient-based method [31.268301764230525]
この研究は、生成モデルにおける未学習の品質を評価するための指標を定式化する。
学習しない品質とパフォーマンスのトレードオフを評価するために、それを使用します。
さらに,古典的漸進的アプローチの下で,サンプルの記憶と難易度が未学習にどのように影響するかを評価する。
論文 参考訳（メタデータ） (2024-11-07T03:02:09Z) - Evaluating of Machine Unlearning: Robustness Verification Without Prior Modifications [15.257558809246524]
Unlearningは、事前トレーニングされたモデルが特定のトレーニングサンプルの影響を取り除くことができるプロセスである。
既存の検証方法は、メンバシップ推論攻撃(MIA)やバックドア攻撃のような機械学習攻撃技術に依存している。
本稿では,事前の修正を伴わない新しい検証手法を提案し,より大規模な検証を支援する。
論文 参考訳（メタデータ） (2024-10-14T03:19:14Z) - Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。
その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。
過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Machine Unlearning in Contrastive Learning [3.6218162133579694]
本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。
提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
論文 参考訳（メタデータ） (2024-05-12T16:09:01Z) - Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness [30.596695293390415]
本稿では, ライフサイクル・アンラーニング・コミットメント・マネジメント(LUCM)の課題について紹介する。
サンプルレベルの未学習完全性を評価するための効率的な指標を提案する。
このメトリクスは、未学習ライフサイクル全体を通して、未学習の異常を監視するツールとして機能することを示す。
論文 参考訳（メタデータ） (2024-03-19T15:37:27Z) - Frugal Reinforcement-based Active Learning [12.18340575383456]
本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。
提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。
また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
論文 参考訳（メタデータ） (2022-12-09T14:17:45Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳（メタデータ） (2022-02-12T06:10:15Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-03-01T01:43:04Z) - Curriculum Learning: A Survey [65.31516318260759]
カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。
我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。
集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
論文 参考訳（メタデータ） (2021-01-25T20:08:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。