論文の概要: Are We Truly Forgetting? A Critical Re-examination of Machine Unlearning Evaluation Protocols

• arxiv url: http://arxiv.org/abs/2503.06991v1
• Date: Mon, 10 Mar 2025 07:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:02.271182
• Title: Are We Truly Forgetting? A Critical Re-examination of Machine Unlearning Evaluation Protocols
• Title（参考訳）: 真に忘れているのか? 機械学習評価プロトコルの批判的再検討
• Authors: Yongwoo Kim, Sungmin Cha, Donghyun Kim,
• Abstract要約: 我々は,大規模シナリオ下での未学習モデルの表現に基づく評価を用いた新しい包括的評価を行う。 我々の分析によると、現在の最先端の未学習アプローチは、未学習モデルの表現品質を完全に低下させるか、または完全に低下させる。 本稿では,下流のタスククラスと意味的類似性を示す,移動学習の観点からの新たなアンラーニング評価手法を提案する。
• 参考スコア（独自算出の注目度）: 14.961054239793356
• License:
• Abstract: Machine unlearning is a process to remove specific data points from a trained model while maintaining the performance on retain data, addressing privacy or legal requirements. Despite its importance, existing unlearning evaluations tend to focus on logit-based metrics (i.e., accuracy) under small-scale scenarios. We observe that this could lead to a false sense of security in unlearning approaches under real-world scenarios. In this paper, we conduct a new comprehensive evaluation that employs representation-based evaluations of the unlearned model under large-scale scenarios to verify whether the unlearning approaches genuinely eliminate the targeted forget data from the model's representation perspective. Our analysis reveals that current state-of-the-art unlearning approaches either completely degrade the representational quality of the unlearned model or merely modify the classifier (i.e., the last layer), thereby achieving superior logit-based evaluation metrics while maintaining significant representational similarity to the original model. Furthermore, we introduce a novel unlearning evaluation setup from a transfer learning perspective, in which the forget set classes exhibit semantic similarity to downstream task classes, necessitating that feature representations diverge significantly from those of the original model. Our comprehensive benchmark not only addresses a critical gap between theoretical machine unlearning and practical scenarios, but also establishes a foundation to inspire future research directions in developing genuinely effective unlearning methodologies.
• Abstract（参考訳）: マシンラーニングとは、データ保持のパフォーマンスを維持しながら、プライバシや法的要件に対処しながら、トレーニングされたモデルから特定のデータポイントを削除するプロセスである。 その重要性にもかかわらず、既存の未学習評価は、小規模シナリオ下でのロジットベースのメトリクス(すなわち精度)に焦点を当てる傾向がある。 これは、現実世界のシナリオ下での未学習のアプローチにおいて、誤ったセキュリティ感覚につながる可能性があることを観察する。 本稿では,大規模シナリオ下での非学習モデル表現に基づく新しい包括的評価を行い,非学習アプローチがモデル表現の観点から対象の忘れデータを完全に排除するかどうかを検証する。 我々の分析では、現在最先端の未学習アプローチは、未学習モデルの表現的品質を完全に低下させるか、あるいは単に分類器(最終層)を変更するだけで、元のモデルと顕著な表現的類似性を保ちながら、優れたロジットベースの評価指標を達成できることを示した。 さらに、移動学習の観点から、下流のタスククラスと意味論的類似性を示すような新しいアンラーニング評価手法を導入し、特徴表現が元のモデルと大きく異なることを要求した。 我々の包括的なベンチマークは、理論的な機械学習と実践的なシナリオの間に重要なギャップを埋めるだけでなく、真に効果的な未学習方法論を開発するための将来の研究の方向性を刺激する基盤も確立している。

関連論文リスト

• Redefining Machine Unlearning: A Conformal Prediction-Motivated Approach [1.3731623617634434]
  既存の未学習指標の限界を同定し,共形予測にインスパイアされた評価指標を提案する。 我々のメトリクスは、予測セットから基底真理ラベルが除外される範囲を効果的に捉えることができる。 本稿では,Carini & Wagner 対逆攻撃損失に対する共形予測の洞察を統合するアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:58:43Z)
• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 これらのデータポイントを消去する目的で、多くの機械学習アルゴリズムが提案されている。 本稿では,機械学習アルゴリズムが対象データ消去を行う能力を評価する,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Revisiting Machine Unlearning with Dimensional Alignment [46.29161970063835]
  そこで本研究では,未知の固有空間間のアライメントを計測し,データセットの保持を行う,機械学習のための新しい評価基準を提案する。 筆者らの枠組みは, 忘れ物から情報を効果的に排除し, 保持物から知識を保存している。
  論文  参考訳（メタデータ） (2024-07-25T02:05:15Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning [0.0]
  本稿では,機械学習アルゴリズムの代替評価手法について記述し,提案する。 我々は、さまざまなコンピュータビジョンデータセット上で、最先端の未学習アルゴリズムの一連の実験を通して、代替評価の有用性を示す。
  論文  参考訳（メタデータ） (2024-05-29T15:53:23Z)
• An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
  AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
  本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。 これは私たちの最良の知識の一般的な評価の最初の定義です。
  論文  参考訳（メタデータ） (2022-08-23T09:37:31Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。