論文の概要: Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning
- arxiv url: http://arxiv.org/abs/2610.10358v2
- Date: Tue, 13 Oct 2026 10:15:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.589063
- Title: Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning
- Title（参考訳）: Open-MMUnlearning:MLLMアンラーニングのための統一手法と評価
- Abstract要約: 我々は,ターゲットモデル作成,マルチモーダルデータ処理,アンラーニング,評価を統合したオープンソースのフレームワークであるOpen-MMUnlearningを紹介する。
このフレームワークは、プライバシ、安全性、著作権にまたがる5つのベンチマーク、4つのモデルファミリーの8つのMLLM、12の未学習メソッドをサポートする。
その評価スイートは、モデルの介入、敵の入力、およびメンバーシップ推論攻撃に対する、忘れることの有効性、有効性、堅牢性を共同で評価する。
- 参考スコア（独自算出の注目度）: 71.71128959288187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As multimodal large language models (MLLMs) become more capable and widely deployed, concerns about privacy and safety have become increasingly pressing. Machine unlearning offers one approach to addressing these concerns by removing designated information from trained models while preserving unrelated capabilities. However, fragmented implementations and evaluation protocols, incomplete robustness testing, and limited understanding of metric reliability make progress in MLLM unlearning difficult to assess systematically. We introduce Open-MMUnlearning, an open-source, extensible framework that integrates target-model preparation, multimodal data processing, unlearning, and evaluation through shared interfaces and structured configurations. The framework supports five benchmarks spanning privacy, safety, and copyright, eight MLLMs from four model families, and twelve unlearning methods. Its evaluation suite jointly assesses forgetting effectiveness, retained utility, and robustness to model interventions, adversarial inputs, and membership inference attacks. Using a common evaluation protocol, we compare ten representative unlearning methods. In this comparison, GD and MIP-Editor tie for the highest overall score: GD achieves the highest Forget Quality, while MIP-Editor preserves more Model Utility. We further introduce a metric meta-evaluation protocol that tests faithfulness using models with controlled exposure to target knowledge and robustness under quantization and relearning. Among the thirteen evaluated metrics, BLEU achieves the highest aggregate reliability score. KS-Test attains the highest faithfulness AUC but performs less well on robustness. Together, the framework and these findings support reproducible comparison of MLLM unlearning methods and systematic assessment of evaluation reliability.
- Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)がより有能で広くデプロイされるようになるにつれ、プライバシや安全性に関する懸念が高まっている。
機械学習は、トレーニングされたモデルから指定された情報を取り除き、無関係な能力を保ちながら、これらの問題に対処するための1つのアプローチを提供する。
しかし、断片化実装と評価プロトコル、不完全な堅牢性テスト、およびメートル法信頼性の限定的な理解は、MLLMにおける未学習の進歩を系統的に評価することが困難である。
ターゲットモデル作成,マルチモーダルデータ処理,アンラーニング,共有インターフェースと構造化構成による評価を統合した,オープンソースの拡張可能なフレームワークであるOpen-MMUnlearningを紹介する。
このフレームワークは、プライバシ、安全性、著作権にまたがる5つのベンチマーク、4つのモデルファミリーの8つのMLLM、12の未学習メソッドをサポートする。
その評価スイートは、モデルの介入、敵の入力、およびメンバーシップ推論攻撃に対する、忘れることの有効性、有効性、堅牢性を共同で評価する。
共通評価プロトコルを用いて,10種類の非学習手法を比較した。
この比較では、GD と MIP-Editor の合計スコアが最も高く、GD は Forget Quality を最も高く、MIP-Editor は Model Utility を多く保持する。
さらに、定量化と再学習の下で、ターゲット知識とロバスト性に対して制御された露出を持つモデルを用いて、忠実性をテストする計量メタ評価プロトコルを導入する。
評価された13の指標のうち、BLEUは最高総合信頼性スコアを達成している。
KS-Test は AUC の最高忠実度を達成しているが、ロバスト性は低い。
このフレームワークとこれらの知見は,MLLMアンラーニング手法の再現可能な比較と評価信頼性の体系的評価を支援する。
関連論文リスト
- LLM Unlearning Under the Microscope: A Full-Stack View on Methods and Metrics [10.638045151201084]
本稿では,近年のステートフル・アンラーニング法12の原則的分類について述べる。
未学習効果(UE)、実用性維持(UT)、堅牢性(Rob)の評価を再考する。
分析の結果,Multiple-choice question (MCQ) の精度に支配される現在の評価は,狭い視点しか示さないことがわかった。
論文 参考訳（メタデータ） (2025-10-08T23:47:05Z) - LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。
LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。
LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
論文 参考訳（メタデータ） (2025-08-07T14:46:30Z) - OpenUnlearning: Accelerating LLM Unlearning via Unified Benchmarking of Methods and Metrics [82.0813150432867]
我々は,大規模言語モデル(LLM)のアンラーニング手法とメトリクスをベンチマークするための標準フレームワークであるOpenUnlearningを紹介する。
OpenUnlearningは、13のアンラーニングアルゴリズムと16のさまざまな評価を3つの主要なベンチマークで統合する。
また、多様なアンラーニング手法をベンチマークし、広範囲な評価スイートとの比較分析を行う。
論文 参考訳（メタデータ） (2025-06-14T20:16:37Z) - Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness [30.596695293390415]
補間近似測定(Interpolated Approximate Measurement, IAM)は、非学習推論用に設計されたフレームワークである。
IAMは、クエリされたサンプルに対するモデルの一般化適合行動ギャップを補間することにより、サンプルレベルの未学習完全性を定量化する。
IAMを最近の近似アンラーニングアルゴリズムに適用し、オーバーアンラーニングとアンダーアンラーニングの両方のリスクを明らかにする。
論文 参考訳（メタデータ） (2025-06-06T14:22:18Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - FreeEval: A Modular Framework for Trustworthy and Efficient Evaluation of Large Language Models [36.273451767886726]
FreeEvalは、大規模言語モデルの信頼性と効率的な自動評価を可能にするために設計された、モジュール化されたスケーラブルなフレームワークである。
FreeEvalの統一された抽象化は、統合を単純化し、多様な評価方法論の透明性を改善します。
このフレームワークは、人間の評価やデータ汚染検出などのメタ評価技術を統合し、動的評価モジュールとともに、評価結果の公平性を高める。
論文 参考訳（メタデータ） (2024-04-09T04:17:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。