論文の概要: LLM Unlearning Under the Microscope: A Full-Stack View on Methods and Metrics

• arxiv url: http://arxiv.org/abs/2510.07626v1
• Date: Wed, 08 Oct 2025 23:47:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.779194
• Title: LLM Unlearning Under the Microscope: A Full-Stack View on Methods and Metrics
• Title（参考訳）: 顕微鏡下でのLLMのアンラーニング:メソッドとメトリクスのフルスタックビュー
• Authors: Chongyu Fan, Changsheng Wang, Yancheng Huang, Soumyadeep Pal, Sijia Liu,
• Abstract要約: 本稿では,近年のステートフル・アンラーニング法12の原則的分類について述べる。 未学習効果(UE)、実用性維持(UT)、堅牢性(Rob)の評価を再考する。 分析の結果,Multiple-choice question (MCQ) の精度に支配される現在の評価は,狭い視点しか示さないことがわかった。
• 参考スコア（独自算出の注目度）: 10.638045151201084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning for large language models (LLMs) aims to remove undesired data, knowledge, and behaviors (e.g., for safety, privacy, or copyright) while preserving useful model capabilities. Despite rapid progress over the past two years, research in LLM unlearning remains fragmented, with limited clarity on what constitutes effective unlearning and how it should be rigorously evaluated. In this work, we present a principled taxonomy of twelve recent stateful unlearning methods, grouped into three methodological families: divergence-driven optimization, representation misalignment, and rejection-based targeted unlearning. Building on this taxonomy, we revisit the evaluation of unlearning effectiveness (UE), utility retention (UT), and robustness (Rob), focusing on the WMDP benchmark. Our analysis shows that current evaluations, dominated by multiple-choice question (MCQ) accuracy, offer only a narrow perspective, often overstating success while overlooking the model's actual generation behavior. To address this gap, we introduce open question-answering (Open-QA) metrics that better capture generative performance and reveal the inherent UE-UT tradeoff across method families. Furthermore, we demonstrate that robustness requires finer-grained analysis: for example, vulnerabilities differ substantially between in-domain relearning and out-of-domain fine-tuning, even though both fall under model-level attacks. Through this study, we hope to deliver a full-stack revisit of LLM unlearning and actionable guidance for designing and evaluating future methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための機械学習は、有用なモデル機能を保持しながら、望ましくないデータ、知識、行動(例えば、安全、プライバシー、著作権)を削除することを目的としている。 過去2年間の急速な進歩にもかかわらず、LLMアンラーニングの研究は断片化され続けており、効果的なアンラーニングを構成するものや、どのように厳格に評価されるべきかが限定されている。 本研究では,近年の12のステートフル・アンラーニング手法の原則的分類を,分散化による最適化,表現の不適応,拒否に基づく未学習の3つの方法論に分類する。 この分類に基づいて、WMDPベンチマークに焦点をあて、未学習の有効性(UE)、実用性維持(UT)、堅牢性(Rob)の評価を再考する。 分析の結果,MCQ(Multiple-choice Question)の精度に支配される現在の評価は,狭い視点しか提供せず,モデルが生成する実際の振る舞いを見落としながら,しばしば成功を過大評価していることがわかった。 このギャップに対処するために、生成性能をよりよく把握し、メソッドファミリ間の固有なUE-UTトレードオフを明らかにするオープンQA(Open QA)メトリクスを導入します。 さらに、ロバストネスはよりきめ細かい分析を必要とすることを実証する。例えば、モデルレベルの攻撃を受けたとしても、ドメイン内の再学習とドメイン外の微調整の間に、脆弱性はかなり異なる。 本研究は,今後の手法を設計・評価する上で,LLMの非学習的かつ実用的なガイダンスをフルスタックで提供することを目的としている。

関連論文リスト

• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics [101.78963920333342]
  我々は,大規模言語モデル(LLM)のアンラーニング手法とメトリクスをベンチマークするための標準フレームワークであるOpenUnlearningを紹介する。 OpenUnlearningは、9つのアンラーニングアルゴリズムと16のさまざまな評価を3つの主要なベンチマークで統合する。 また、多様なアンラーニング手法をベンチマークし、広範囲な評価スイートとの比較分析を行う。
  論文  参考訳（メタデータ） (2025-06-14T20:16:37Z)
• SoK: Machine Unlearning for Large Language Models [14.88062383081161]
  大規模言語モデル(LLM)アンラーニングは機械学習において重要なトピックとなっている。 未学習の意図に基づく新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T20:30:39Z)
• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness [30.596695293390415]
  補間近似測定(Interpolated Approximate Measurement, IAM)は、非学習推論用に設計されたフレームワークである。 IAMは、クエリされたサンプルに対するモデルの一般化適合行動ギャップを補間することにより、サンプルレベルの未学習完全性を定量化する。 IAMを最近の近似アンラーニングアルゴリズムに適用し、オーバーアンラーニングとアンダーアンラーニングの両方のリスクを明らかにする。
  論文  参考訳（メタデータ） (2025-06-06T14:22:18Z)
• A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models [35.893819613585315]
  本研究では,大規模言語モデル(LLM)の文脈における機械学習手法について検討する。 LLMのアンラーニングは、LLMから望ましくないデータの影響を取り除くための原則的なアプローチを提供する。 研究の関心が高まりつつあるにもかかわらず、既存の研究を体系的に整理し、重要な洞察を蒸留する総合的な調査は行われていない。
  論文  参考訳（メタデータ） (2025-02-22T12:46:14Z)
• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [92.99416966226724]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。