論文の概要: MLLM Machine Unlearning via Visual Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2512.11325v1
• Date: Fri, 12 Dec 2025 06:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.684277
• Title: MLLM Machine Unlearning via Visual Knowledge Distillation
• Title（参考訳）: 視覚的知識蒸留によるMLLM機械の学習
• Authors: Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Haichang Gao, Gang Hua,
• Abstract要約: テキスト知識を保存しながら,対象とする視覚的知識を選択的に消去する専用手法を提案する。 出力レベルの監視に依存する従来の未学習手法とは異なり,本手法では視覚的知識蒸留方式を導入している。 我々は,再学習攻撃に対するMLLMアンラーニングの頑健さを初めて評価した。
• 参考スコア（独自算出の注目度）: 29.266057382659728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, machine unlearning approaches have been proposed to remove sensitive information from well-trained large models. However, most existing methods are tailored for LLMs, while MLLM-oriented unlearning remains at its early stage. Inspired by recent studies exploring the internal mechanisms of MLLMs, we propose to disentangle the visual and textual knowledge embedded within MLLMs and introduce a dedicated approach to selectively erase target visual knowledge while preserving textual knowledge. Unlike previous unlearning methods that rely on output-level supervision, our approach introduces a Visual Knowledge Distillation (VKD) scheme, which leverages intermediate visual representations within the MLLM as supervision signals. This design substantially enhances both unlearning effectiveness and model utility. Moreover, since our method only fine-tunes the visual components of the MLLM, it offers significant efficiency advantages. Extensive experiments demonstrate that our approach outperforms state-of-the-art unlearning methods in terms of both effectiveness and efficiency. Moreover, we are the first to evaluate the robustness of MLLM unlearning against relearning attacks.
• Abstract（参考訳）: 近年,よく訓練された大規模モデルからセンシティブな情報を除去するための機械学習手法が提案されている。 しかし、既存のほとんどの手法はLSM向けに調整されているが、MLLM指向の未学習はまだ初期段階にある。 MLLMの内部メカニズムを探求する最近の研究から着想を得て,MLLMの内部に埋め込まれた視覚的知識とテキスト的知識を分離し,テキスト的知識を保存しながら,対象の視覚的知識を選択的に消去する専用のアプローチを提案する。 出力レベルの監視に依存する従来の未学習手法とは異なり,本手法では,MLLM内の中間的視覚表現を監視信号として活用する視覚的知識蒸留(VKD)方式を導入している。 この設計により、未学習の有効性とモデルの有用性が大幅に向上する。 さらに,本手法はMLLMの視覚成分を微調整するだけであるため,高い効率性が得られる。 大規模な実験により,本手法は,有効性と効率の両面で,最先端の未学習手法より優れていることが示された。 さらに,再学習攻撃に対するMLLMアンラーニングの頑健さを初めて評価した。

関連論文リスト

• MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
  MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。 逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-05T14:20:17Z)
• WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models [26.07431044262102]
  本稿では,大規模言語モデル(LLM)におけるモデルウェイトと未学習プロセスの相互作用について考察する。 重みの「影響」と「影響」とを相互に関連付けることによって,重みの「影響」を記憶・保持するLLMアンラーニング手法であるWAGLEを設計する。
  論文  参考訳（メタデータ） (2024-10-23T02:22:07Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• From Training-Free to Adaptive: Empirical Insights into MLLMs' Understanding of Detection Information [32.57246173437492]
  視覚検出モデルは、きめ細かい画像の詳細を認識するのに優れている。 1つの効果的な戦略は、シンプルで効果的なテキスト形式で検出情報を注入することである。 本稿では,MLLMのテキスト検出情報に対する理解に,学習はどのような影響を与えるのか,という疑問に対処する。
  論文  参考訳（メタデータ） (2024-01-31T16:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。