論文の概要: MUBox: A Critical Evaluation Framework of Deep Machine Unlearning

• arxiv url: http://arxiv.org/abs/2505.08576v1
• Date: Tue, 13 May 2025 13:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.589295
• Title: MUBox: A Critical Evaluation Framework of Deep Machine Unlearning
• Title（参考訳）: MUBox:Deep Machine Unlearningの批判的評価フレームワーク
• Authors: Xiang Li, Bhavani Thuraisingham, Wenqi Wei,
• Abstract要約: MUBoxは、ディープラーニングにおける未学習の手法を評価するために設計された総合的なプラットフォームである。 MUBoxは23の高度なアンラーニング技術を統合し、11の多様な評価指標で6つの実践シナリオでテストされている。
• 参考スコア（独自算出の注目度）: 13.186439491394474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent legal frameworks have mandated the right to be forgotten, obligating the removal of specific data upon user requests. Machine Unlearning has emerged as a promising solution by selectively removing learned information from machine learning models. This paper presents MUBox, a comprehensive platform designed to evaluate unlearning methods in deep learning. MUBox integrates 23 advanced unlearning techniques, tested across six practical scenarios with 11 diverse evaluation metrics. It allows researchers and practitioners to (1) assess and compare the effectiveness of different machine unlearning methods across various scenarios; (2) examine the impact of current evaluation metrics on unlearning performance; and (3) conduct detailed comparative studies on machine unlearning in a unified framework. Leveraging MUBox, we systematically evaluate these unlearning methods in deep learning and uncover several key insights: (a) Even state-of-the-art unlearning methods, including those published in top-tier venues and winners of unlearning competitions, demonstrate inconsistent effectiveness across diverse scenarios. Prior research has predominantly focused on simplified settings, such as random forgetting and class-wise unlearning, highlighting the need for broader evaluations across more difficult unlearning tasks. (b) Assessing unlearning performance remains a non-trivial problem, as no single evaluation metric can comprehensively capture the effectiveness, efficiency, and preservation of model utility. Our findings emphasize the necessity of employing multiple metrics to achieve a balanced and holistic assessment of unlearning methods. (c) In the context of depoisoning, our evaluation reveals significant variability in the effectiveness of existing approaches, which is highly dependent on the specific type of poisoning attacks.
• Abstract（参考訳）: 最近の法的枠組みでは、忘れられる権利が義務付けられており、ユーザーからの要求に応じて特定のデータの削除が義務付けられている。 機械学習モデルから学習情報を選択的に取り除くことで、機械学習は有望なソリューションとして登場した。 本稿では,ディープラーニングにおける未学習手法の評価を目的とした総合的なプラットフォームMUBoxを提案する。 MUBoxは23の高度なアンラーニング技術を統合し、11の多様な評価指標で6つの実践シナリオでテストされている。 研究者や実践者は,(1)異なる機械学習手法の有効性を様々なシナリオで評価し,比較すること,(2)現在の評価指標が未学習のパフォーマンスに与える影響を検討すること,(3)統合された枠組みで機械未学習に関する詳細な比較研究を行うことができる。 MUBoxを活用することで、ディープラーニングにおけるこれらの未学習手法を体系的に評価し、いくつかの重要な洞察を明らかにする。 (a)最先端のアンラーニング手法であっても、トップレベルの会場やアンラーニングコンペティションの勝者が、さまざまなシナリオにおいて一貫性のない効果を示す。 従来の研究は、ランダムな忘れ方やクラスワイドなアンラーニングのような単純化された設定に主に焦点を合わせており、より難しいアンラーニングタスクに対するより広範な評価の必要性を強調していた。 (b) モデルユーティリティの有効性, 有効性, 保存性を総合的に把握できる単一の評価基準が存在しないため, 未学習のパフォーマンスを評価することは自明な問題である。 本研究は,アンラーニング手法のバランスよく総合的な評価を実現するために,複数のメトリクスを活用する必要性を強調した。 (c) 除毒の文脈では, 既存手法の有効性に有意な変動がみられ, 特定の種類の毒殺攻撃に大きく依存している。

関連論文リスト

• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• Instance-Level Difficulty: A Missing Perspective in Machine Unlearning [13.052520843129363]
  完全インスタンスレベルのアンラーニング性能分析により,機械学習を困難にさせる難易度について検討する。 特に,データポイントの学習を困難にする4つの要因を要約する。 機械学習の研究は、未学習のインスタンスレベルの難しさに注意を払うべきだと我々は主張する。
  論文  参考訳（メタデータ） (2024-10-03T23:41:42Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Towards Reliable Empirical Machine Unlearning Evaluation: A Cryptographic Game Perspective [5.724350004671127]
  機械学習は機械学習モデルを更新し、データ保護規則に従って、特定のトレーニングサンプルから情報を削除する。 近年、多くの未学習アルゴリズムが開発されているにもかかわらず、これらのアルゴリズムの信頼性評価は依然としてオープンな研究課題である。 この研究は、非学習アルゴリズムを実証的に評価するための、新しく信頼性の高いアプローチを示し、より効果的な非学習技術を開発するための道を開いた。
  論文  参考訳（メタデータ） (2024-04-17T17:20:27Z)
• Exploring Federated Unlearning: Analysis, Comparison, and Insights [101.64910079905566]
  フェデレーション・アンラーニングは、フェデレーション・システムで訓練されたモデルからデータを選択的に除去することを可能にする。 本稿では,既存のフェデレーション・アンラーニング手法について検討し,アルゴリズムの効率,モデル精度への影響,プライバシ保護の有効性について検討する。 フェデレートされたアンラーニング手法を評価するための統一ベンチマークであるOpenFederatedUnlearningフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-30T01:34:33Z)
• Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
  本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。 これは私たちの最良の知識の一般的な評価の最初の定義です。
  論文  参考訳（メタデータ） (2022-08-23T09:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。