論文の概要: Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.19613v1
• Date: Wed, 14 Oct 2026 05:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.982308
• Title: Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs
• Title（参考訳）: 実測は可能か? マルチモーダルLLMにおける機械学習評価における落とし穴
• Abstract要約: 本稿では,実世界の知識と原則的評価プロトコルに基づくベンチマークであるGEMMUを紹介する。 誤解を招く可能性のある3つの大きな落とし穴を特定します。 本研究は,マルチモーダル・マシン・アンラーニングにおける厳密な評価の重要性を強調した。
• 参考スコア（独自算出の注目度）: 23.80878899011884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine unlearning for multimodal large language models (MLLMs) rapidly advances, rigorous evaluation of its effectiveness becomes increasingly important. However, existing benchmarks largely inherit evaluation protocols from text-only unlearning and overlook the unique challenges of unlearning in multimodal settings. In this work, we identify three major pitfalls that may lead to misleading conclusions: the lack of heldout evaluation to distinguish genuine concept-wise forgetting from instance-wise overfitting, the reliance on synthetic, fine-tuned knowledge rather than real-world knowledge acquired during pre-training, and unfair method comparisons caused by applying the same training settings to different unlearning methods. To address these challenges, we introduce GEMMU (Generalizable Evaluation for Multimodal Machine Unlearning), a benchmark built on real-world knowledge and a principled evaluation protocol. Re-evaluating representative unlearning methods under GEMMU reveals substantial generalization gaps and challenges conclusions drawn from previous benchmarks. Our findings highlight the importance of rigorous evaluation for advancing multimodal machine unlearning and provide guidelines for future benchmark design.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の機械学習が急速に進歩するにつれて、その有効性に対する厳密な評価がますます重要になる。 しかし、既存のベンチマークはテキストのみのアンラーニングから評価プロトコルをほとんど継承し、マルチモーダル環境でのアンラーニングの独特な課題を見落としている。 本研究は, 実世界の知識よりも合成的, 微調整的知識への依存, 異なる未学習の手法に同じトレーニング設定を適用することによって生じる不公平な手法比較の3点について, 概念的過度な認識から真の概念的忘れを区別するためのホールドアウト評価の欠如について, 誤解を招く可能性のある3つの落とし穴を同定する。 これらの課題に対処するために、実世界の知識と原則付き評価プロトコルに基づくベンチマークであるGEMMU(Generalizable Evaluation for Multimodal Machine Unlearning)を紹介する。 GEMMUの下での代表的な非学習手法の再評価は、前回のベンチマークから得られた大きな一般化のギャップと課題の結論を明らかにする。 本研究は,マルチモーダルマシンアンラーニングにおける厳密な評価の重要性を強調し,将来のベンチマーク設計のためのガイドラインを提供する。

関連論文リスト

• Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning [71.71128959288187]
  我々は,ターゲットモデル作成,マルチモーダルデータ処理,アンラーニング,評価を統合したオープンソースのフレームワークであるOpen-MMUnlearningを紹介する。 このフレームワークは、プライバシ、安全性、著作権にまたがる5つのベンチマーク、4つのモデルファミリーの8つのMLLM、12の未学習メソッドをサポートする。 その評価スイートは、モデルの介入、敵の入力、およびメンバーシップ推論攻撃に対する、忘れることの有効性、有効性、堅牢性を共同で評価する。
  論文  参考訳（メタデータ） (2026-10-07T16:30:59Z)
• Evaluating Machine Unlearning in ASR [57.06981631671086]
  マシン・アンラーニング(MU)は「忘れられる権利」の規則に準拠する道を提供する。 既存のMUアルゴリズムと評価ツールが自動音声認識(ASR)に適しているかを検討する。 逐次学習と同時学習の両方が、単目的学習よりもプライバシーと実用性が劣っていることを示す。
  論文  参考訳（メタデータ） (2026-09-28T01:32:56Z)
• OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics [82.0813150432867]
  我々は,大規模言語モデル(LLM)のアンラーニング手法とメトリクスをベンチマークするための標準フレームワークであるOpenUnlearningを紹介する。 OpenUnlearningは、13のアンラーニングアルゴリズムと16のさまざまな評価を3つの主要なベンチマークで統合する。 また、多様なアンラーニング手法をベンチマークし、広範囲な評価スイートとの比較分析を行う。
  論文  参考訳（メタデータ） (2025-06-14T20:16:37Z)
• MUBox: A Critical Evaluation Framework of Deep Machine Unlearning [13.186439491394474]
  MUBoxは、ディープラーニングにおける未学習の手法を評価するために設計された総合的なプラットフォームである。 MUBoxは23の高度なアンラーニング技術を統合し、11の多様な評価指標で6つの実践シナリオでテストされている。
  論文  参考訳（メタデータ） (2025-05-13T13:50:51Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。