論文の概要: Towards Understanding the Feasibility of Machine Unlearning

• arxiv url: http://arxiv.org/abs/2410.03043v1
• Date: Thu, 3 Oct 2024 23:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 04:16:10.891382
• Title: Towards Understanding the Feasibility of Machine Unlearning
• Title（参考訳）: 機械学習の可能性を理解するために
• Authors: Mahtab Sarvmaili, Hassan Sajjad, Ga Wu,
• Abstract要約: 未学習の難易度を定量化するための新しい指標のセットを提案する。 具体的には,学習を成功させるのに必要な条件を評価するために,いくつかの指標を提案する。 また、最も難解なサンプルを特定するためのランキング機構も提示する。
• 参考スコア（独自算出の注目度）: 14.177012256360635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In light of recent privacy regulations, machine unlearning has attracted significant attention in the research community. However, current studies predominantly assess the overall success of unlearning approaches, overlooking the varying difficulty of unlearning individual training samples. As a result, the broader feasibility of machine unlearning remains under-explored. This paper presents a set of novel metrics for quantifying the difficulty of unlearning by jointly considering the properties of target model and data distribution. Specifically, we propose several heuristics to assess the conditions necessary for a successful unlearning operation, examine the variations in unlearning difficulty across different training samples, and present a ranking mechanism to identify the most challenging samples to unlearn. We highlight the effectiveness of the Kernelized Stein Discrepancy (KSD), a parameterized kernel function tailored to each model and dataset, as a heuristic for evaluating unlearning difficulty. Our approach is validated through multiple classification tasks and established machine unlearning algorithms, demonstrating the practical feasibility of unlearning operations across diverse scenarios.
• Abstract（参考訳）: 最近のプライバシー規制に照らして、機械学習は研究コミュニティに大きな注目を集めている。 しかし、近年の研究では、学習しない個別のトレーニングサンプルの様々な難しさを見越して、学習しないアプローチの全体的な成功を主に評価している。 結果として、機械学習の幅広い実現可能性はまだ未調査のままである。 本稿では,対象モデルの特性とデータ分布を協調的に考慮し,学習の難しさを定量化するための新しい指標について述べる。 具体的には、未学習を成功させるために必要な条件を評価するためのヒューリスティックスを提案し、異なるトレーニングサンプル間での未学習難易度の変化を調べ、最も難解なサンプルを特定するためのランキングメカニズムを提案する。 我々は,学習困難度を評価するためのヒューリスティックとして,各モデルとデータセットに合わせたパラメータ化カーネル関数であるカーネル化スタイン離散性(KSD)の有効性を強調した。 提案手法は、複数の分類タスクと確立された機械学習アルゴリズムを通じて検証され、多様なシナリオにおける未学習操作の実現可能性を示す。

関連論文リスト

• When to Forget? Complexity Trade-offs in Machine Unlearning [23.507879460531264]
  Machine Unlearning(MU)は、トレーニングされたモデルから特定のデータポイントの影響を取り除くことを目的としている。 本研究では,非学習手法の効率を解析し,この問題に対するミニマックス時間における第1の上限値と第2の上限値の設定を行う。 未学習度比の位相図 – 最高の未学習手法の計算コストと完全なモデル再学習を比較する新しいメトリクスを提供する。
  論文  参考訳（メタデータ） (2025-02-24T16:56:27Z)
• Unlearning in- vs. out-of-distribution data in LLMs under gradient-based method [31.268301764230525]
  この研究は、生成モデルにおける未学習の品質を評価するための指標を定式化する。 学習しない品質とパフォーマンスのトレードオフを評価するために、それを使用します。 さらに,古典的漸進的アプローチの下で,サンプルの記憶と難易度が未学習にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-11-07T03:02:09Z)
• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 これらのデータポイントを消去する目的で、多くの機械学習アルゴリズムが提案されている。 本稿では,機械学習アルゴリズムが対象データ消去を行う能力を評価する,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Evaluating of Machine Unlearning: Robustness Verification Without Prior Modifications [15.257558809246524]
  Unlearningは、事前トレーニングされたモデルが特定のトレーニングサンプルの影響を取り除くことができるプロセスである。 既存の検証方法は、メンバシップ推論攻撃(MIA)やバックドア攻撃のような機械学習攻撃技術に依存している。 本稿では,事前の修正を伴わない新しい検証手法を提案し,より大規模な検証を支援する。
  論文  参考訳（メタデータ） (2024-10-14T03:19:14Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Machine Unlearning in Contrastive Learning [3.6218162133579694]
  本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。 提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
  論文  参考訳（メタデータ） (2024-05-12T16:09:01Z)
• Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
  我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。 機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。 実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
  論文  参考訳（メタデータ） (2024-04-04T06:37:46Z)
• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness [30.596695293390415]
  本稿では, ライフサイクル・アンラーニング・コミットメント・マネジメント(LUCM)の課題について紹介する。 サンプルレベルの未学習完全性を評価するための効率的な指標を提案する。 このメトリクスは、未学習ライフサイクル全体を通して、未学習の異常を監視するツールとして機能することを示す。
  論文  参考訳（メタデータ） (2024-03-19T15:37:27Z)
• Machine Unlearning: A Survey [56.79152190680552]
  プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。 この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。 この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。 この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
  論文  参考訳（メタデータ） (2023-06-06T10:18:36Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• Impact Learning: A Learning Method from Features Impact and Competition [1.3569491184708429]
  本稿では,インパクト学習と呼ばれる新しい機械学習アルゴリズムを提案する。 インパクト学習は教師付き学習アルゴリズムであり、分類問題と回帰問題の両方に統合することができる。 自然増進の本質的な速度によるハイライトの影響によって調製される。
  論文  参考訳（メタデータ） (2022-11-04T04:56:35Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection [55.888835686183995]
  教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。 提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-01T01:43:04Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。