論文の概要: Towards Reliable Empirical Machine Unlearning Evaluation: A Game-Theoretic View
- arxiv url: http://arxiv.org/abs/2404.11577v2
- Date: Wed, 12 Jun 2024 08:04:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 22:24:31.769942
- Title: Towards Reliable Empirical Machine Unlearning Evaluation: A Game-Theoretic View
- Title（参考訳）: 信頼性のある経験的マシン・アンラーニング評価を目指して : ゲーム理論的視点
- Authors: Yiwen Tu, Pingbang Hu, Jiaqi Ma,
- Abstract要約: 本研究では,非学習アルゴリズムとMIA敵とのゲームとして評価プロセスを形式化するゲーム理論フレームワークを提案する。
ゲームから誘導される評価基準は,既存の評価基準が満たせないという証明可能な保証を享受していることを示す。
この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
- 参考スコア（独自算出の注目度）: 5.724350004671127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning is the process of updating machine learning models to remove the information of specific training data samples, in order to comply with data protection regulations that allow individuals to request the removal of their personal data. Despite the recent development of numerous unlearning algorithms, reliable evaluation of these algorithms remains an open research question. In this work, we focus on membership inference attack (MIA) based evaluation, one of the most common approaches for evaluating unlearning algorithms, and address various pitfalls of existing evaluation metrics that lack reliability. Specifically, we propose a game-theoretic framework that formalizes the evaluation process as a game between unlearning algorithms and MIA adversaries, measuring the data removal efficacy of unlearning algorithms by the capability of the MIA adversaries. Through careful design of the game, we demonstrate that the natural evaluation metric induced from the game enjoys provable guarantees that the existing evaluation metrics fail to satisfy. Furthermore, we propose a practical and efficient algorithm to estimate the evaluation metric induced from the game, and demonstrate its effectiveness through both theoretical analysis and empirical experiments. This work presents a novel and reliable approach to empirically evaluating unlearning algorithms, paving the way for the development of more effective unlearning techniques.
- Abstract（参考訳）: 機械学習は、個人が個人データの削除を要求できるデータ保護規則に従うために、特定のトレーニングデータサンプルの情報を削除するために機械学習モデルを更新するプロセスである。
近年、多くの未学習アルゴリズムが開発されているにもかかわらず、これらのアルゴリズムの信頼性評価は依然としてオープンな研究課題である。
本研究では、未学習アルゴリズムの評価において最も一般的なアプローチの一つであるMIAに基づく評価に焦点を当て、信頼性に欠ける既存の評価指標の様々な落とし穴に対処する。
具体的には,非学習アルゴリズムとMIA敵のゲームとして評価プロセスを形式化するゲーム理論フレームワークを提案する。
ゲームの設計を慎重に進めることで,ゲームから誘導される自然な評価基準が,既存の評価基準が満たせないという証明可能な保証を享受できることを実証する。
さらに,ゲームから誘導される評価基準を推定し,理論解析と実験実験の両方を通してその効果を実証する,実用的で効率的なアルゴリズムを提案する。
この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
関連論文リスト
- Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。
情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。
FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-05T23:26:10Z) - RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。
訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。
以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-31T20:54:35Z) - A practical approach to evaluating the adversarial distance for machine learning classifiers [2.2120851074630177]
本稿では,反復的対角攻撃と認証手法を用いたより情報性の高い対角距離の推定について検討する。
我々は,我々の敵攻撃アプローチが関連する実装と比較して有効であるのに対して,認証手法は期待に届かなかった。
論文 参考訳（メタデータ） (2024-09-05T14:57:01Z) - Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。
その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。
過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Adversarial Machine Unlearning [26.809123658470693]
本稿では,機械学習モデルに対する特定のトレーニングデータの影響を取り除くことを目的とした,機械学習の課題に焦点を当てた。
伝統的に、未学習アルゴリズムの開発は、ある種のプライバシー脅威である会員推論攻撃(MIA)と並行して実行される。
未学習アルゴリズムの設計にMIAを統合するゲーム理論フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-11T20:07:22Z) - Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning [0.0]
本稿では,機械学習アルゴリズムの代替評価手法について記述し,提案する。
我々は、さまざまなコンピュータビジョンデータセット上で、最先端の未学習アルゴリズムの一連の実験を通して、代替評価の有用性を示す。
論文 参考訳（メタデータ） (2024-05-29T15:53:23Z) - Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。
これは私たちの最良の知識の一般的な評価の最初の定義です。
論文 参考訳（メタデータ） (2022-08-23T09:37:31Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。