論文の概要: MLLM Machine Unlearning via Visual Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2512.11325v1
• Date: Fri, 12 Dec 2025 06:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.684277
• Title: MLLM Machine Unlearning via Visual Knowledge Distillation
• Title（参考訳）: 視覚的知識蒸留によるMLLM機械の学習
• Authors: Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Haichang Gao, Gang Hua,
• Abstract要約: テキスト知識を保存しながら,対象とする視覚的知識を選択的に消去する専用手法を提案する。 出力レベルの監視に依存する従来の未学習手法とは異なり,本手法では視覚的知識蒸留方式を導入している。 我々は,再学習攻撃に対するMLLMアンラーニングの頑健さを初めて評価した。
• 参考スコア（独自算出の注目度）: 29.266057382659728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, machine unlearning approaches have been proposed to remove sensitive information from well-trained large models. However, most existing methods are tailored for LLMs, while MLLM-oriented unlearning remains at its early stage. Inspired by recent studies exploring the internal mechanisms of MLLMs, we propose to disentangle the visual and textual knowledge embedded within MLLMs and introduce a dedicated approach to selectively erase target visual knowledge while preserving textual knowledge. Unlike previous unlearning methods that rely on output-level supervision, our approach introduces a Visual Knowledge Distillation (VKD) scheme, which leverages intermediate visual representations within the MLLM as supervision signals. This design substantially enhances both unlearning effectiveness and model utility. Moreover, since our method only fine-tunes the visual components of the MLLM, it offers significant efficiency advantages. Extensive experiments demonstrate that our approach outperforms state-of-the-art unlearning methods in terms of both effectiveness and efficiency. Moreover, we are the first to evaluate the robustness of MLLM unlearning against relearning attacks.
• Abstract（参考訳）: 近年,よく訓練された大規模モデルからセンシティブな情報を除去するための機械学習手法が提案されている。 しかし、既存のほとんどの手法はLSM向けに調整されているが、MLLM指向の未学習はまだ初期段階にある。 MLLMの内部メカニズムを探求する最近の研究から着想を得て,MLLMの内部に埋め込まれた視覚的知識とテキスト的知識を分離し,テキスト的知識を保存しながら,対象の視覚的知識を選択的に消去する専用のアプローチを提案する。 出力レベルの監視に依存する従来の未学習手法とは異なり,本手法では,MLLM内の中間的視覚表現を監視信号として活用する視覚的知識蒸留(VKD)方式を導入している。 この設計により、未学習の有効性とモデルの有用性が大幅に向上する。 さらに,本手法はMLLMの視覚成分を微調整するだけであるため,高い効率性が得られる。 大規模な実験により,本手法は,有効性と効率の両面で,最先端の未学習手法より優れていることが示された。 さらに,再学習攻撃に対するMLLMアンラーニングの頑健さを初めて評価した。

関連論文リスト

• RL makes MLLMs see better than SFT [96.508432109136]
  マルチモーダル言語モデル(MLLM)の視覚エンコーダの批判的かつ未探索な解析を行う。 その結果、MLLMの学習後戦略(SFTまたはRL)は、下流タスクにおいて異なる結果をもたらすだけでなく、MLLMの根底にある視覚的表現を根本的に再認識することを示した。 次に、私たちの知見をMLLMのための強力なビジョンエンコーダを構築するための簡単なレシピ、Preference-Instructed Vision OpTimization (PIVOT) に再構成する。
  論文  参考訳（メタデータ） (2025-10-18T03:37:17Z)
• MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
  MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。 逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-05T14:20:17Z)
• Are Large Language Models Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems [16.995977750934887]
  大規模言語モデル(LLM)は、受動的に観測されたデータとアクティブに収集されたデータからブラックボックス関数を特定することを学ぶ。 LLMは観測結果から情報を抽出できず、ベイズ推定の理想に劣る性能台地に到達する。 一方のLSMから他方のLSMへの介入データを提供することで、この改善が効果的な介入のプロセスへの関与の結果であることを示す。
  論文  参考訳（メタデータ） (2025-05-23T14:37:36Z)
• Expanding the Boundaries of Vision Prior Knowledge in Multi-modal Large Language Models [51.84752285423123]
  本稿では,ビジョンエンコーダの事前知識がMLLM性能に与える影響を定量化するために,新しい計量である$Rank_e$を導入する。 視覚エンコーダレベルでの事前知識を明確に組み込んだ2段階トレーニングフレームワークであるVisPRE(Vision Prior Remediation)を提案する。 実験の結果,視覚エンコーダの事前知識の増大はMLLMの視覚理解能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-23T11:33:09Z)
• Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
  近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。 このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。 本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• Does Unlearning Truly Unlearn? A Black Box Evaluation of LLM Unlearning Methods [1.9799527196428242]
  大規模言語モデルアンラーニングは、LLMが悪意ある目的のために使用するのを防ぐために学んだ有害な情報を除去することを目的としている。 アンラーニングが一般的なモデル能力に顕著な影響を与えていることを示す。 簡単な方法で5ショットのプロンプトやリフレーズを行うことで、未学習ベンチマークの精度が10倍以上に向上する可能性があることを示す。
  論文  参考訳（メタデータ） (2024-11-18T22:31:17Z)
• WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models [26.07431044262102]
  本稿では,大規模言語モデル(LLM)におけるモデルウェイトと未学習プロセスの相互作用について考察する。 重みの「影響」と「影響」とを相互に関連付けることによって,重みの「影響」を記憶・保持するLLMアンラーニング手法であるWAGLEを設計する。
  論文  参考訳（メタデータ） (2024-10-23T02:22:07Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [77.72128397088409]
  本研究は,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また,モデルが積極的に複合推論を行うように促す新しい強化学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• From Training-Free to Adaptive: Empirical Insights into MLLMs' Understanding of Detection Information [32.57246173437492]
  視覚検出モデルは、きめ細かい画像の詳細を認識するのに優れている。 1つの効果的な戦略は、シンプルで効果的なテキスト形式で検出情報を注入することである。 本稿では,MLLMのテキスト検出情報に対する理解に,学習はどのような影響を与えるのか,という疑問に対処する。
  論文  参考訳（メタデータ） (2024-01-31T16:38:32Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。