論文の概要: Towards Reliable Empirical Machine Unlearning Evaluation: A Game-Theoretic View
- arxiv url: http://arxiv.org/abs/2404.11577v1
- Date: Wed, 17 Apr 2024 17:20:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:06:14.612591
- Title: Towards Reliable Empirical Machine Unlearning Evaluation: A Game-Theoretic View
- Title(参考訳): 信頼性のある経験的マシン・アンラーニング評価を目指して : ゲーム理論的視点
- Authors: Yiwen Tu, Pingbang Hu, Jiaqi Ma,
- Abstract要約: 本研究では,非学習アルゴリズムとMIA敵とのゲームとして評価プロセスを形式化するゲーム理論フレームワークを提案する。
ゲームから誘導される評価基準は,既存の評価基準が満たせないという証明可能な保証を享受していることを示す。
この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
- 参考スコア(独自算出の注目度): 5.724350004671127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning is the process of updating machine learning models to remove the information of specific training data samples, in order to comply with data protection regulations that allow individuals to request the removal of their personal data. Despite the recent development of numerous unlearning algorithms, reliable evaluation of these algorithms remains an open research question. In this work, we focus on membership inference attack (MIA) based evaluation, one of the most common approaches for evaluating unlearning algorithms, and address various pitfalls of existing evaluation metrics that lack reliability. Specifically, we propose a game-theoretic framework that formalizes the evaluation process as a game between unlearning algorithms and MIA adversaries, measuring the data removal efficacy of unlearning algorithms by the capability of the MIA adversaries. Through careful design of the game, we demonstrate that the natural evaluation metric induced from the game enjoys provable guarantees that the existing evaluation metrics fail to satisfy. Furthermore, we propose a practical and efficient algorithm to estimate the evaluation metric induced from the game, and demonstrate its effectiveness through both theoretical analysis and empirical experiments. This work presents a novel and reliable approach to empirically evaluating unlearning algorithms, paving the way for the development of more effective unlearning techniques.
- Abstract(参考訳): 機械学習は、個人が個人データの削除を要求できるデータ保護規則に従うために、特定のトレーニングデータサンプルの情報を削除するために機械学習モデルを更新するプロセスである。
近年、多くの未学習アルゴリズムが開発されているにもかかわらず、これらのアルゴリズムの信頼性評価は依然としてオープンな研究課題である。
本研究では、未学習アルゴリズムの評価において最も一般的なアプローチの一つであるMIAに基づく評価に焦点を当て、信頼性に欠ける既存の評価指標の様々な落とし穴に対処する。
具体的には,非学習アルゴリズムとMIA敵のゲームとして評価プロセスを形式化するゲーム理論フレームワークを提案する。
ゲームの設計を慎重に進めることで,ゲームから誘導される自然な評価基準が,既存の評価基準が満たせないという証明可能な保証を享受できることを実証する。
さらに,ゲームから誘導される評価基準を推定し,理論解析と実験実験の両方を通してその効果を実証する,実用的で効率的なアルゴリズムを提案する。
この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
関連論文リスト
- Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness [30.596695293390415]
本稿では, ライフサイクル・アンラーニング・コミットメント・マネジメント(LUCM)の課題について紹介する。
サンプルレベルの未学習完全性を評価するための効率的な指標を提案する。
このメトリクスは、未学習ライフサイクル全体を通して、未学習の異常を監視するツールとして機能することを示す。
論文 参考訳(メタデータ) (2024-03-19T15:37:27Z) - Machine unlearning through fine-grained model parameters perturbation [29.1171391789129]
そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。
また,機械学習の有効性を評価する上での課題にも取り組む。
論文 参考訳(メタデータ) (2024-01-09T07:14:45Z) - DUCK: Distance-based Unlearning via Centroid Kinematics [40.2428948628001]
本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。
アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。
また,適応学習スコア (Adaptive Unlearning Score, AUS) と呼ばれる新しい指標を導入し, 対象データに対する未学習プロセスの有効性だけでなく, 元のモデルに対する性能損失の定量化も行った。
論文 参考訳(メタデータ) (2023-12-04T17:10:25Z) - RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳(メタデータ) (2023-11-21T21:05:21Z) - LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。
本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。
距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
論文 参考訳(メタデータ) (2023-04-28T19:05:16Z) - Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。
これは私たちの最良の知識の一般的な評価の最初の定義です。
論文 参考訳(メタデータ) (2022-08-23T09:37:31Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2021-04-06T22:53:45Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳(メタデータ) (2021-01-26T17:11:40Z) - Interpretable Off-Policy Evaluation in Reinforcement Learning by
Highlighting Influential Transitions [48.91284724066349]
強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。
信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。
我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
論文 参考訳(メタデータ) (2020-02-10T00:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。